Відмінності між версіями «Ядерне згладжуваня»

(→‎Принцип)
(→‎Приклад функції ядра)
 
(Не показано 28 проміжних версій цього користувача)
Рядок 1: Рядок 1:
−
'''Ядерное сглаживание''' - один из простейших видов [[Непараметрическая регрессия|непараметрической регрессии]].
+
{{Завдання|Шостак В.М.|Назаревич О. Б.|18 березня 2012}}
 +
{{Студент | Name=Володимир | Surname=Шостак | FatherNAme=Михайлович |Faculti=ФІС | Group=СН-51 | Zalbook=СН-11-222}}
 +
'''Ядерне згладжуваня''' - один із найпростіших видів [[Непараметрична регресія|непараметричної регресії]].
  
−
== Постановка задачи ==
+
== Постановка задачі ==
  
−
:Решается задача восстановления регрессии. Задано пространство объектов <math>X</math> и множество возможных
+
:Вирішується завдання відновлення регресії. Заданий простір об'єктів <math>x</math> і безліч можливих відповідей <math>y=r</math>. Існує невідома цільова залежність <math> y^*: X \rightarrow Y</math>, значення якої відомі лише на об'єктах навчальної вибірки <math> X^m={(x_i, y_i)}_{i=1}^m</math>. Потрібно побудувати алгоритм <math>a: X \rightarrow Y </math>, що апроксимує цільову залежність <math>y^*</math>.
−
ответов <math>Y=R</math>. Существует неизвестная целевая зависимость <math> y^*: X \rightarrow Y</math>,  
 
−
значения которой известны только на объектах обучающей выборки <math> X^m={(x_i, y_i)}_{i=1}^m</math>.  
 
−
Требуется построить алгоритм <math>a: X \rightarrow Y </math>, аппроксимирующий целевую зависимость <math>y^*</math>.
 
  
 
== Принцип ==
 
== Принцип ==
−
Принцип, используйщий идейно простой подход к представлению последовательности весов <math>\{ W_{mi}(x) \}_{i=1}^m</math> состоит в описании формы весовой
+
Принцип, використання ідейно простого підхіду до уявлення послідовності вагів <math>\{ W_{mi}(x)\}_{i=1}^m</math> полягає в описі форми вагової  функції <math>w_{mi}(x) </math> за допомогою функції щільності із скалярним параметром, який регулює розмір і форму вагів біля х.  Цю функцію форми  прийнято називати ''''ядром'''' <math>k</math>.
−
функции <math>W_{mi}(x)</math> посредством функции плотности со скалярным параметром, который регулирует размер и форму весов около х.  
+
Отримані таким чином ваги далі використовуються для представлення величини <math>a(x) </math> у вигляді зваженої суми значень <math>y_i</math> навчаючої вибірки.
−
Эту функцию формы принято называть ''ядром'' <math>K</math>.
 
  
−
Полученные таким образом веса далее используются для представления величины <tex>a(x)</tex> в виде взвешенной суммы значений <math> y_i</math> обучающей выборки.
+
== Опис методу ==
 +
=== Визначення ядра ===
 +
'''Ядро''' — це неперермвна обмеженна симетрична речовина функція <math>K</math> з одиничним інтегралом
 +
::<math>\int K(u)du=1</math>
  
−
== Описание метода ==
+
=== Послідовність ваги ===
−
=== Определение ядра ===
+
Послідовність ваги для ядерних оцінок (для одновимірного <math>x</math>) знаходиться як ::<math>W_{mi}(x)=\frac{K_{h_m}(x-X_i)}{\hat{f}_{h_m}(x)}</math>,
−
'''Ядро''' — это непрерывная ограниченная симметричная вещественная функция <tex>K</tex> с единичным интегралом
+
де
−
::<tex>\int K(u)du=1</tex>
+
::<math>\hat{f}_{h_m}(x)=\frac1m \sum_{i=1}^m K_{h_m}(x-X_i)</math>,
−
=== Последовательность весов ===
 
−
Последовательность весов для ядерных оценок (для одномерного <tex>x</tex>) определяется как ::<tex>W_{mi}(x)=\frac{K_{h_m}(x-X_i)}{\hat{f}_{h_m}(x)}</tex>,
 
−
где
 
−
::<tex>\hat{f}_{h_m}(x)=\frac1m \sum_{i=1}^m K_{h_m}(x-X_i)</tex>,
 
 
a
 
a
−
::<tex>K_{h_m}(u)=\frac{1}{h_m} K\(\frac{u}{h_m}\)</tex>
+
::<math>K_{h_m}(u)=\frac{1}{h_m} K\(\frac{u}{h_m}\)</math>
−
представляет собой ядро с параметром <tex>h_m</tex>. Этот параметр принято называть шириной окна. Подчеркнув зависимость <tex>h\ =\ h_m</tex> от объема выборки <tex>m</tex>, условимся сокращенно обозначать последовательность весов <tex>W_{mi}(x)</tex>.
+
уявимо собі ядро з параметром <math>h_m</math>. Також цей параметр прийнято називати шириной вікна. Підкреслемо залежність <math>h\ =\ h_m</math> від об'єму вибірки <math>m</math>, умова скороченого значення послідовністі ваги <math>W_{mi}(x)</math>.
  
−
=== Функция ядра ===
+
=== Функція ядра ===
−
Функция <tex>\hat{f}_{h_m}(x)</tex> является ''ядерной оценкой плотности Розенблата — Парзена'' (Rosenblatt, 1956; Parzen, 1962) для (маргинальной) плотности
+
Функція <math>\hat{f}_{h_m}(x)</math> являєтся ''ядерною оцінкою щільності Розенблата — Парзена'' (Rosenblatt, 1956; Parzen, 1962) для (маргинальної) щільності зміної <math>x</math>. Даний вид ядерних вагів <math>W_{mi}(x)</math> був запропонований в работах (Nadaraya, 1964) і (Watson, 1964). Як наслідок, оцінка очікуваної величини відновлюваної залежності <math>e(y\|x) </math>: ::<math>\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i) Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i)}</math>
−
переменной <tex>x</tex>. Данный вид ядерных весов <tex>W_{mi}(x)</tex> был предложен в работах (Nadaraya, 1964) и (Watson, 1964). Как следствие, оценка
+
часто називають оцінкою ''Надарая—Ватсона''.
−
ожидаемой величины восстанавливаемой зависимости <tex>E(y\|x)</tex>:
+
Ширіна вікна визначає, наскільки швидко убувають ваги <math>w_{mi}(x) </math> у міру видалення об'єктів <math>x_i</math> від <math>x</math>.
−
::<tex>\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)}</tex>
 
−
часто называют оценкой ''Надарая—Ватсона''.  
 
−
Ширина окна определяет, насколько быстро убывают веса <tex>W_{mi}(x)</tex> по мере удаления объектов <tex>x_i</tex> от <tex>x</tex>.
 
−
Характер убывания определяется видом ядра <tex>K</tex>.
 
−
Нормализация весов <tex>\hat{f}_{h_m}(x)</tex> гарантирует, что сумма весов равна единице.  
 
  
−
'''Замечание'''. При ряде условий имеет место сходимость по вероятности данной оценки к <tex>E(y|x)</tex>.
+
Характер убування визначається виглядом ядра <math>k</math>.
 +
Нормалізація вагів <math>\hat{f}_{h_m}(x)</math> гарантує, що сума вагів дорівнює одиниці.
 +
 +
'''Примітка'''. При ряду умов має місце збіжність по вірогідності даної оцінки до <math>e(y|x) </math>.
  
−
=== Пример функции ядра ===
+
=== Приклад функції ядра ===
−
[[Изображение:CoreFunc.png|thumb|right|400px|Примеры различных функций ядра.]]
+
[[Файл:CoreFunc.png|thumb|right|400px|Приклади різних функцій ядра.]]
  
−
На практике используется несколько видов ядерных функций.
+
На практиці використовується декілька видів ядерних функцій.
 
Чаще всего используется квартическая ядерная функция
 
Чаще всего используется квартическая ядерная функция
−
::<tex>K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)</tex>.
+
::<math>K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)</math>.
−
Также используется ядро Епанечникова, обладающее некоторыми свойствами оптимальности [Хардле В п4.5]; это функция
+
Також викоритовуєтьсятся ядро Епанечникова, яке володіє деякими властивостями оптимальності [Хардле В п 4.5]; це функція
 
параболического типа (Epanechnikov, 1969; Bartlett, 1963):
 
параболического типа (Epanechnikov, 1969; Bartlett, 1963):
−
::<tex>K(u)=0.75(1-u^2)I(\| u \| \le 1)</tex>.
+
::<math>K(u)=0.75(1-u^2)I(\| u \| \le 1)</math>.
  
−
Другими примерами являются ядро Гаусса,
+
Іншим прикладом є ядро Гаусса,
−
::<tex>K(u)=(2\pi)^{-1/2} \exp(-u^2/2)</tex>,
+
::<math>K(u)=(2\pi)^{-1/2} \exp(-u^2/2)</math>,
−
треугольное ядро
+
трикутне ядро
−
::<tex>K(u)=(1-\|u\|)I(\| u \| \le 1)</tex>,
+
::<math>K(u)=(1-\|u\|)I(\| u \| \le 1)</math>,
−
и прямоугольное ядро
+
і прямокутне ядро
−
::<tex>K(u)=(1/2)I(\| u \| \le 1)</tex>.
+
::<math>K(u)=(1/2)I(\| u \| \le 1)</math>.
  
−
'''Замечание'''. Точность восстанавливаемой зависимости мало зависит от выбора ядра.
+
'''Примітка'''. Точність відновленоії залежності мало залежить від вибору ядра.  
−
Ядро определяет степень гладкости функции <tex>a(x)</tex>.
+
Ядро визначає міру гладкості функції <math>a(x)</math>.
  
−
=== Зависимость от ширины окна ===
+
=== Залежність від ширини вікна ===
−
Выбор окна решающим образом влияет на точность восстанавливаемой зависимости.
+
Вибір вікна вирішальним чином впливає на точність відновлюваної залежності. При занадто малих значеннях <math>h</math> крива <math>a(x) </math> прагне пройти через кожну точку вибірки, гостро реагуючи на шуми і зазнаючи різкі скачки, оскільки в цьому випадку оцінка опирається лише на невелике число спостережень з вузької окружності точки <math>x</math>. Навпаки, якщо ширина вікна велика, функція надмірно згладжується і в межі при <math> h \rightarrow \infty</math> вироджується в константу -- усереднене значення величин <math> y_i</math>. В цьому випадку згладжена функція не дає можливості визначити характерні особливості шуканої залежності <math> y^*(x) </math>.
−
При чересчур малых значениях <tex>h</tex> кривая <tex>a(x)</tex> стремится пройти через каждую точку выборки, остро реагируя на шумы и претерпевая резкие
 
−
скачки, поскольку в этом случае оценка опирается только на небольшое число наблюдений из узкой окрестности точки <tex>x</tex>.
 
−
Наоборот, если ширина окна велика, функция чрезмерно сглаживается и в пределе при <tex> h \rightarrow \infty</tex> вырождается в константу -- усреднённое
 
−
значение величин <tex> y_i</tex>. В этом случае сглаженная функция не даёт возможности определить характерные особенности искомой зависимости <tex> y^*(x)</tex>.
 
  
−
==Литература==
+
==Література==
−
# {{книга
+
# ''Хардле В.''[http://optimization.nlprog.ru/read/ru/8776859F6322A5AF21D45220A9B5B57E110C2E84/index.htm/ Прикладна непараметрична регресія]-1989р.
−
|автор        = Хардле В.
+
# ''Воронцов К.В.''[http://www.ccas.ru/voron/download/Regression.pdf/ Лекції по алгоритмам відновлення регресії] - 2007.
−
|заглавие  = Прикладная непараметрическая регрессия
+
# ''Лагутин М.Б.''Прикладна математична статистика.- 2009
−
|год          = 1989
+
 
−
|ссылка      = http://optimization.nlprog.ru/read/ru/8776859F6322A5AF21D45220A9B5B57E110C2E84/index.htm
+
==Див. також==
−
}}
 
−
# {{книга
 
−
|автор        = Воронцов К.В.
 
−
|заглавие  = Лекции по алгоритмам восстановления регрессии
 
−
|год          = 2007
 
−
|ссылка      = http://www.ccas.ru/voron/download/Regression.pdf
 
−
}}
 
−
# {{книга
 
−
|автор        = Лагутин М.Б.
 
−
|заглавие  = Наглядная математическая статистика
 
−
|год          = 2009
 
−
|ссылка      =
 
−
}}
 
−
==См. также==
 
 
* [[Алгоритм LOWESS]]
 
* [[Алгоритм LOWESS]]
−
* [[Вариация и смещение]]
+
* [[Варіація і зміщення]]
−
* [[Регрессионный анализ]]
+
* [[Регресійний аналіз]]
−
 
 
−
[[Категория:Непараметрическая регрессия]]
 
  
−
{{ЗаданиеВыполнено|Tolstikhin|Vokov|31 декабря 2009}}
+
==посилання==
 +
[[Непараметрична регресія]]
 +
[[Категорія:Планування експерименту]]

Поточна версія на 19:31, 13 березня 2012

Blue check.png Дана стаття являється неперевіреним навчальним завданням.
Студент: Шостак В.М.
Викладач: Назаревич О. Б.
Термін до: 18 березня 2012

До вказаного терміну стаття не повинна редагуватися іншими учасниками проекту. Після завершення терміну виконання будь-який учасник може вільно редагувати дану статтю і витерти дане попередження, що вводиться за допомогою шаблону.


{{{img}}}
Імя Володимир
Прізвище Шостак
По-батькові Михайлович
Факультет ФІС
Група СН-51
Залікова книжка СН-11-222


Ядерне згладжуваня - один із найпростіших видів непараметричної регресії.

Постановка задачі

Вирішується завдання відновлення регресії. Заданий простір об'єктів [math]x[/math] і безліч можливих відповідей [math]y=r[/math]. Існує невідома цільова залежність [math]y^*: X \rightarrow Y[/math], значення якої відомі лише на об'єктах навчальної вибірки [math]X^m={(x_i, y_i)}_{i=1}^m[/math]. Потрібно побудувати алгоритм [math]a: X \rightarrow Y[/math], що апроксимує цільову залежність [math]y^*[/math].

Принцип

Принцип, використання ідейно простого підхіду до уявлення послідовності вагів [math]\{ W_{mi}(x)\}_{i=1}^m[/math] полягає в описі форми вагової функції [math]w_{mi}(x)[/math] за допомогою функції щільності із скалярним параметром, який регулює розмір і форму вагів біля х. Цю функцію форми прийнято називати 'ядром' [math]k[/math]. Отримані таким чином ваги далі використовуються для представлення величини [math]a(x)[/math] у вигляді зваженої суми значень [math]y_i[/math] навчаючої вибірки.

Опис методу

Визначення ядра

Ядро — це неперермвна обмеженна симетрична речовина функція [math]K[/math] з одиничним інтегралом

[math]\int K(u)du=1[/math]

Послідовність ваги

Послідовність ваги для ядерних оцінок (для одновимірного [math]x[/math]) знаходиться як ::[math]W_{mi}(x)=\frac{K_{h_m}(x-X_i)}{\hat{f}_{h_m}(x)}[/math], де

[math]\hat{f}_{h_m}(x)=\frac1m \sum_{i=1}^m K_{h_m}(x-X_i)[/math],

a

[math]K_{h_m}(u)=\frac{1}{h_m} K\(\frac{u}{h_m}\)[/math]

уявимо собі ядро з параметром [math]h_m[/math]. Також цей параметр прийнято називати шириной вікна. Підкреслемо залежність [math]h\ =\ h_m[/math] від об'єму вибірки [math]m[/math], умова скороченого значення послідовністі ваги [math]W_{mi}(x)[/math].

Функція ядра

Функція [math]\hat{f}_{h_m}(x)[/math] являєтся ядерною оцінкою щільності Розенблата — Парзена (Rosenblatt, 1956; Parzen, 1962) для (маргинальної) щільності зміної [math]x[/math]. Даний вид ядерних вагів [math]W_{mi}(x)[/math] був запропонований в работах (Nadaraya, 1964) і (Watson, 1964). Як наслідок, оцінка очікуваної величини відновлюваної залежності [math]e(y\|x)[/math]: ::[math]\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i) Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-x_i)}[/math] часто називають оцінкою Надарая—Ватсона. Ширіна вікна визначає, наскільки швидко убувають ваги [math]w_{mi}(x)[/math] у міру видалення об'єктів [math]x_i[/math] від [math]x[/math].

Характер убування визначається виглядом ядра [math]k[/math]. Нормалізація вагів [math]\hat{f}_{h_m}(x)[/math] гарантує, що сума вагів дорівнює одиниці.

Примітка. При ряду умов має місце збіжність по вірогідності даної оцінки до [math]e(y|x)[/math].

Приклад функції ядра

Приклади різних функцій ядра.

На практиці використовується декілька видів ядерних функцій. Чаще всего используется квартическая ядерная функция

[math]K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)[/math].

Також викоритовуєтьсятся ядро Епанечникова, яке володіє деякими властивостями оптимальності [Хардле В п 4.5]; це функція параболического типа (Epanechnikov, 1969; Bartlett, 1963):

[math]K(u)=0.75(1-u^2)I(\| u \| \le 1)[/math].

Іншим прикладом є ядро Гаусса,

[math]K(u)=(2\pi)^{-1/2} \exp(-u^2/2)[/math],

трикутне ядро

[math]K(u)=(1-\|u\|)I(\| u \| \le 1)[/math],

і прямокутне ядро

[math]K(u)=(1/2)I(\| u \| \le 1)[/math].

Примітка. Точність відновленоії залежності мало залежить від вибору ядра. Ядро визначає міру гладкості функції [math]a(x)[/math].

Залежність від ширини вікна

Вибір вікна вирішальним чином впливає на точність відновлюваної залежності. При занадто малих значеннях [math]h[/math] крива [math]a(x)[/math] прагне пройти через кожну точку вибірки, гостро реагуючи на шуми і зазнаючи різкі скачки, оскільки в цьому випадку оцінка опирається лише на невелике число спостережень з вузької окружності точки [math]x[/math]. Навпаки, якщо ширина вікна велика, функція надмірно згладжується і в межі при [math]h \rightarrow \infty[/math] вироджується в константу -- усереднене значення величин [math]y_i[/math]. В цьому випадку згладжена функція не дає можливості визначити характерні особливості шуканої залежності [math]y^*(x)[/math].

Література

  1. Хардле В.Прикладна непараметрична регресія-1989р.
  2. Воронцов К.В.Лекції по алгоритмам відновлення регресії - 2007.
  3. Лагутин М.Б.Прикладна математична статистика.- 2009

Див. також

посилання

Непараметрична регресія

Отримано з https://wiki.tntu.edu.ua/index.php?title=Ядерне_згладжуваня&oldid=14049