Відмінності між версіями «Ядерне згладжуваня»

(→‎Последовательность весов)
(→‎Приклад функції ядра)
 
(Не показано 9 проміжних версій цього користувача)
Рядок 3: Рядок 3:
 
'''Ядерне згладжуваня''' - один із найпростіших видів [[Непараметрична регресія|непараметричної регресії]].
 
'''Ядерне згладжуваня''' - один із найпростіших видів [[Непараметрична регресія|непараметричної регресії]].
  
−
== Постановка задачи ==
+
== Постановка задачі ==
  
−
:Решается задача восстановления регрессии. Задано пространство объектов <math>X</math> и множество возможных
+
:Вирішується завдання відновлення регресії. Заданий простір об'єктів <math>x</math> і безліч можливих відповідей <math>y=r</math>. Існує невідома цільова залежність <math> y^*: X \rightarrow Y</math>, значення якої відомі лише на об'єктах навчальної вибірки <math> X^m={(x_i, y_i)}_{i=1}^m</math>. Потрібно побудувати алгоритм <math>a: X \rightarrow Y </math>, що апроксимує цільову залежність <math>y^*</math>.
−
ответов <math>Y=R</math>. Существует неизвестная целевая зависимость <math> y^*: X \rightarrow Y</math>,  
 
−
значения которой известны только на объектах обучающей выборки <math> X^m={(x_i, y_i)}_{i=1}^m</math>.  
 
−
Требуется построить алгоритм <math>a: X \rightarrow Y </math>, аппроксимирующий целевую зависимость <math>y^*</math>.
 
  
 
== Принцип ==
 
== Принцип ==
−
Принцип, используйщий идейно простой подход к представлению последовательности весов <math>\{ W_{mi}(x) \}_{i=1}^m</math> состоит в описании формы весовой
+
Принцип, використання ідейно простого підхіду до уявлення послідовності вагів <math>\{ W_{mi}(x)\}_{i=1}^m</math> полягає в описі форми вагової  функції <math>w_{mi}(x) </math> за допомогою функції щільності із скалярним параметром, який регулює розмір і форму вагів біля х.  Цю функцію форми  прийнято називати ''''ядром'''' <math>k</math>.  
−
функции <math>W_{mi}(x)</math> посредством функции плотности со скалярным параметром, который регулирует размер и форму весов около х.  
+
Отримані таким чином ваги далі використовуються для представлення величини <math>a(x) </math> у вигляді зваженої суми значень <math>y_i</math> навчаючої вибірки.
−
Эту функцию формы принято называть ''ядром'' <math>K</math>.
 
−
 
 
−
Полученные таким образом веса далее используются для представления величины <math>a(x)</math> в виде взвешенной суммы значений <math> y_i</math> обучающей выборки.
 
  
 
== Опис методу ==
 
== Опис методу ==
 
=== Визначення ядра ===
 
=== Визначення ядра ===
−
'''Ядро''' — это непрерывная ограниченная симметричная вещественная функция <math>K</math> с единичным интегралом
+
'''Ядро''' — це неперермвна обмеженна симетрична речовина функція <math>K</math> з одиничним інтегралом
 
::<math>\int K(u)du=1</math>
 
::<math>\int K(u)du=1</math>
  
Рядок 31: Рядок 25:
  
 
=== Функція ядра ===
 
=== Функція ядра ===
−
Функция <math>\hat{f}_{h_m}(x)</math> является ''ядерной оценкой плотности Розенблата — Парзена'' (Rosenblatt, 1956; Parzen, 1962) для (маргинальной) плотности
+
Функція <math>\hat{f}_{h_m}(x)</math> являєтся ''ядерною оцінкою щільності Розенблата — Парзена'' (Rosenblatt, 1956; Parzen, 1962) для (маргинальної) щільності зміної <math>x</math>. Даний вид ядерних вагів <math>W_{mi}(x)</math> був запропонований в работах (Nadaraya, 1964) і (Watson, 1964). Як наслідок, оцінка очікуваної величини відновлюваної залежності <math>e(y\|x) </math>: ::<math>\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i) Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i)}</math>
−
переменной <math>x</math>. Данный вид ядерных весов <math>W_{mi}(x)</math> был предложен в работах (Nadaraya, 1964) и (Watson, 1964). Как следствие, оценка
+
часто називають оцінкою ''Надарая—Ватсона''.
−
ожидаемой величины восстанавливаемой зависимости <math>E(y\|x)</math>:
+
Ширіна вікна визначає, наскільки швидко убувають ваги <math>w_{mi}(x) </math> у міру видалення об'єктів <math>x_i</math> від <math>x</math>.
−
::<math>\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)}</math>
 
−
часто называют оценкой ''Надарая—Ватсона''.  
 
−
Ширина окна определяет, насколько быстро убывают веса <math>W_{mi}(x)</math> по мере удаления объектов <math>x_i</math> от <math>x</math>.
 
−
Характер убывания определяется видом ядра <math>K</math>.
 
−
Нормализация весов <math>\hat{f}_{h_m}(x)</math> гарантирует, что сумма весов равна единице.  
 
  
−
'''Замечание'''. При ряде условий имеет место сходимость по вероятности данной оценки к <math>E(y|x)</math>.
+
Характер убування визначається виглядом ядра <math>k</math>.
 +
Нормалізація вагів <math>\hat{f}_{h_m}(x)</math> гарантує, що сума вагів дорівнює одиниці.
 +
 +
'''Примітка'''. При ряду умов має місце збіжність по вірогідності даної оцінки до <math>e(y|x) </math>.
  
 
=== Приклад функції ядра ===
 
=== Приклад функції ядра ===
 
[[Файл:CoreFunc.png|thumb|right|400px|Приклади різних функцій ядра.]]
 
[[Файл:CoreFunc.png|thumb|right|400px|Приклади різних функцій ядра.]]
  
−
На практике используется несколько видов ядерных функций.
+
На практиці використовується декілька видів ядерних функцій.
 
Чаще всего используется квартическая ядерная функция
 
Чаще всего используется квартическая ядерная функция
 
::<math>K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)</math>.
 
::<math>K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)</math>.
−
Также используется ядро Епанечникова, обладающее некоторыми свойствами оптимальности [Хардле В п4.5]; это функция
+
Також викоритовуєтьсятся ядро Епанечникова, яке володіє деякими властивостями оптимальності [Хардле В п 4.5]; це функція
 
параболического типа (Epanechnikov, 1969; Bartlett, 1963):
 
параболического типа (Epanechnikov, 1969; Bartlett, 1963):
 
::<math>K(u)=0.75(1-u^2)I(\| u \| \le 1)</math>.
 
::<math>K(u)=0.75(1-u^2)I(\| u \| \le 1)</math>.
  
−
Другими примерами являются ядро Гаусса,
+
Іншим прикладом є ядро Гаусса,
 
::<math>K(u)=(2\pi)^{-1/2} \exp(-u^2/2)</math>,
 
::<math>K(u)=(2\pi)^{-1/2} \exp(-u^2/2)</math>,
−
треугольное ядро
+
трикутне ядро
 
::<math>K(u)=(1-\|u\|)I(\| u \| \le 1)</math>,
 
::<math>K(u)=(1-\|u\|)I(\| u \| \le 1)</math>,
−
и прямоугольное ядро
+
і прямокутне ядро
 
::<math>K(u)=(1/2)I(\| u \| \le 1)</math>.
 
::<math>K(u)=(1/2)I(\| u \| \le 1)</math>.
  
−
'''Замечание'''. Точность восстанавливаемой зависимости мало зависит от выбора ядра.
+
'''Примітка'''. Точність відновленоії залежності мало залежить від вибору ядра.  
−
Ядро определяет степень гладкости функции <math>a(x)</math>.
+
Ядро визначає міру гладкості функції <math>a(x)</math>.
  
 
=== Залежність від ширини вікна ===
 
=== Залежність від ширини вікна ===
−
Выбор окна решающим образом влияет на точность восстанавливаемой зависимости.
+
Вибір вікна вирішальним чином впливає на точність відновлюваної залежності. При занадто малих значеннях <math>h</math> крива <math>a(x) </math> прагне пройти через кожну точку вибірки, гостро реагуючи на шуми і зазнаючи різкі скачки, оскільки в цьому випадку оцінка опирається лише на невелике число спостережень з вузької окружності точки <math>x</math>. Навпаки, якщо ширина вікна велика, функція надмірно згладжується і в межі при <math> h \rightarrow \infty</math> вироджується в константу -- усереднене значення величин <math> y_i</math>. В цьому випадку згладжена функція не дає можливості визначити характерні особливості шуканої залежності <math> y^*(x) </math>.
−
При чересчур малых значениях <math>h</math> кривая <math>a(x)</math> стремится пройти через каждую точку выборки, остро реагируя на шумы и претерпевая резкие
 
−
скачки, поскольку в этом случае оценка опирается только на небольшое число наблюдений из узкой окрестности точки <math>x</math>.
 
−
Наоборот, если ширина окна велика, функция чрезмерно сглаживается и в пределе при <math> h \rightarrow \infty</math> вырождается в константу -- усреднённое
 
−
значение величин <math> y_i</math>. В этом случае сглаженная функция не даёт возможности определить характерные особенности искомой зависимости <math> y^*(x)</math>.
 
  
 
==Література==
 
==Література==

Поточна версія на 19:31, 13 березня 2012

Blue check.png Дана стаття являється неперевіреним навчальним завданням.
Студент: Шостак В.М.
Викладач: Назаревич О. Б.
Термін до: 18 березня 2012

До вказаного терміну стаття не повинна редагуватися іншими учасниками проекту. Після завершення терміну виконання будь-який учасник може вільно редагувати дану статтю і витерти дане попередження, що вводиться за допомогою шаблону.


{{{img}}}
Імя Володимир
Прізвище Шостак
По-батькові Михайлович
Факультет ФІС
Група СН-51
Залікова книжка СН-11-222


Ядерне згладжуваня - один із найпростіших видів непараметричної регресії.

Постановка задачі

Вирішується завдання відновлення регресії. Заданий простір об'єктів [math]x[/math] і безліч можливих відповідей [math]y=r[/math]. Існує невідома цільова залежність [math]y^*: X \rightarrow Y[/math], значення якої відомі лише на об'єктах навчальної вибірки [math]X^m={(x_i, y_i)}_{i=1}^m[/math]. Потрібно побудувати алгоритм [math]a: X \rightarrow Y[/math], що апроксимує цільову залежність [math]y^*[/math].

Принцип

Принцип, використання ідейно простого підхіду до уявлення послідовності вагів [math]\{ W_{mi}(x)\}_{i=1}^m[/math] полягає в описі форми вагової функції [math]w_{mi}(x)[/math] за допомогою функції щільності із скалярним параметром, який регулює розмір і форму вагів біля х. Цю функцію форми прийнято називати 'ядром' [math]k[/math]. Отримані таким чином ваги далі використовуються для представлення величини [math]a(x)[/math] у вигляді зваженої суми значень [math]y_i[/math] навчаючої вибірки.

Опис методу

Визначення ядра

Ядро — це неперермвна обмеженна симетрична речовина функція [math]K[/math] з одиничним інтегралом

[math]\int K(u)du=1[/math]

Послідовність ваги

Послідовність ваги для ядерних оцінок (для одновимірного [math]x[/math]) знаходиться як ::[math]W_{mi}(x)=\frac{K_{h_m}(x-X_i)}{\hat{f}_{h_m}(x)}[/math], де

[math]\hat{f}_{h_m}(x)=\frac1m \sum_{i=1}^m K_{h_m}(x-X_i)[/math],

a

[math]K_{h_m}(u)=\frac{1}{h_m} K\(\frac{u}{h_m}\)[/math]

уявимо собі ядро з параметром [math]h_m[/math]. Також цей параметр прийнято називати шириной вікна. Підкреслемо залежність [math]h\ =\ h_m[/math] від об'єму вибірки [math]m[/math], умова скороченого значення послідовністі ваги [math]W_{mi}(x)[/math].

Функція ядра

Функція [math]\hat{f}_{h_m}(x)[/math] являєтся ядерною оцінкою щільності Розенблата — Парзена (Rosenblatt, 1956; Parzen, 1962) для (маргинальної) щільності зміної [math]x[/math]. Даний вид ядерних вагів [math]W_{mi}(x)[/math] був запропонований в работах (Nadaraya, 1964) і (Watson, 1964). Як наслідок, оцінка очікуваної величини відновлюваної залежності [math]e(y\|x)[/math]: ::[math]\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i) Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i)}[/math] часто називають оцінкою Надарая—Ватсона. Ширіна вікна визначає, наскільки швидко убувають ваги [math]w_{mi}(x)[/math] у міру видалення об'єктів [math]x_i[/math] від [math]x[/math].

Характер убування визначається виглядом ядра [math]k[/math]. Нормалізація вагів [math]\hat{f}_{h_m}(x)[/math] гарантує, що сума вагів дорівнює одиниці.

Примітка. При ряду умов має місце збіжність по вірогідності даної оцінки до [math]e(y|x)[/math].

Приклад функції ядра

Приклади різних функцій ядра.

На практиці використовується декілька видів ядерних функцій. Чаще всего используется квартическая ядерная функция

[math]K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)[/math].

Також викоритовуєтьсятся ядро Епанечникова, яке володіє деякими властивостями оптимальності [Хардле В п 4.5]; це функція параболического типа (Epanechnikov, 1969; Bartlett, 1963):

[math]K(u)=0.75(1-u^2)I(\| u \| \le 1)[/math].

Іншим прикладом є ядро Гаусса,

[math]K(u)=(2\pi)^{-1/2} \exp(-u^2/2)[/math],

трикутне ядро

[math]K(u)=(1-\|u\|)I(\| u \| \le 1)[/math],

і прямокутне ядро

[math]K(u)=(1/2)I(\| u \| \le 1)[/math].

Примітка. Точність відновленоії залежності мало залежить від вибору ядра. Ядро визначає міру гладкості функції [math]a(x)[/math].

Залежність від ширини вікна

Вибір вікна вирішальним чином впливає на точність відновлюваної залежності. При занадто малих значеннях [math]h[/math] крива [math]a(x)[/math] прагне пройти через кожну точку вибірки, гостро реагуючи на шуми і зазнаючи різкі скачки, оскільки в цьому випадку оцінка опирається лише на невелике число спостережень з вузької окружності точки [math]x[/math]. Навпаки, якщо ширина вікна велика, функція надмірно згладжується і в межі при [math]h \rightarrow \infty[/math] вироджується в константу -- усереднене значення величин [math]y_i[/math]. В цьому випадку згладжена функція не дає можливості визначити характерні особливості шуканої залежності [math]y^*(x)[/math].

Література

  1. Хардле В.Прикладна непараметрична регресія-1989р.
  2. Воронцов К.В.Лекції по алгоритмам відновлення регресії - 2007.
  3. Лагутин М.Б.Прикладна математична статистика.- 2009

Див. також

посилання

Непараметрична регресія

Отримано з https://wiki.tntu.edu.ua/index.php?title=Ядерне_згладжуваня&oldid=14049