Ядерне згладжуваня
|
Дана стаття являється неперевіреним навчальним завданням.
До вказаного терміну стаття не повинна редагуватися іншими учасниками проекту. Після завершення терміну виконання будь-який учасник може вільно редагувати дану статтю і витерти дане попередження, що вводиться за допомогою шаблону. |
| {{{img}}} | ||
| Імя | Володимир | |
| Прізвище | Шостак | |
| По-батькові | Михайлович | |
| Факультет | ФІС | |
| Група | СН-51 | |
| Залікова книжка | СН-11-222 | |
Ядерне згладжуваня - один із найпростіших видів непараметричної регресії.
Зміст
Постановка задачі
- Вирішується завдання відновлення регресії. Заданий простір об'єктів [math]x[/math] і безліч можливих відповідей [math]y=r[/math]. Існує невідома цільова залежність [math]y^*: X \rightarrow Y[/math], значення якої відомі лише на об'єктах навчальної вибірки [math]X^m={(x_i, y_i)}_{i=1}^m[/math]. Потрібно побудувати алгоритм [math]a: X \rightarrow Y[/math], що апроксимує цільову залежність [math]y^*[/math].
Принцип
Принцип, використання ідейно простого підхіду до уявлення послідовності вагів [math]\{ W_{mi}(x)\}_{i=1}^m[/math] полягає в описі форми вагової функції [math]w_{mi}(x)[/math] за допомогою функції щільності із скалярним параметром, який регулює розмір і форму вагів біля х. Цю функцію форми прийнято називати 'ядром' [math]k[/math]. Отримані таким чином ваги далі використовуються для представлення величини [math]a(x)[/math] у вигляді зваженої суми значень [math]y_i[/math] навчаючої вибірки.
Опис методу
Визначення ядра
Ядро — це неперермвна обмеженна симетрична речовина функція [math]K[/math] з одиничним інтегралом
- [math]\int K(u)du=1[/math]
Послідовність ваги
Послідовність ваги для ядерних оцінок (для одновимірного [math]x[/math]) знаходиться як ::[math]W_{mi}(x)=\frac{K_{h_m}(x-X_i)}{\hat{f}_{h_m}(x)}[/math], де
- [math]\hat{f}_{h_m}(x)=\frac1m \sum_{i=1}^m K_{h_m}(x-X_i)[/math],
a
- [math]K_{h_m}(u)=\frac{1}{h_m} K\(\frac{u}{h_m}\)[/math]
уявимо собі ядро з параметром [math]h_m[/math]. Також цей параметр прийнято називати шириной вікна. Підкреслемо залежність [math]h\ =\ h_m[/math] від об'єму вибірки [math]m[/math], умова скороченого значення послідовністі ваги [math]W_{mi}(x)[/math].
Функція ядра
Функция [math]\hat{f}_{h_m}(x)[/math] является ядерной оценкой плотности Розенблата — Парзена (Rosenblatt, 1956; Parzen, 1962) для (маргинальной) плотности переменной [math]x[/math]. Данный вид ядерных весов [math]W_{mi}(x)[/math] был предложен в работах (Nadaraya, 1964) и (Watson, 1964). Как следствие, оценка ожидаемой величины восстанавливаемой зависимости [math]E(y\|x)[/math]:
- [math]\hat{m}_h(x)=\frac{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)Y_i}{\frac1m\textstyle\sum\limits_{i=1}^m K_{h_m}(x-X_i)}[/math]
часто называют оценкой Надарая—Ватсона. Ширина окна определяет, насколько быстро убывают веса [math]W_{mi}(x)[/math] по мере удаления объектов [math]x_i[/math] от [math]x[/math]. Характер убывания определяется видом ядра [math]K[/math]. Нормализация весов [math]\hat{f}_{h_m}(x)[/math] гарантирует, что сумма весов равна единице.
Замечание. При ряде условий имеет место сходимость по вероятности данной оценки к [math]E(y|x)[/math].
Приклад функції ядра
На практике используется несколько видов ядерных функций. Чаще всего используется квартическая ядерная функция
- [math]K(u)=(15/16)(1-u^2)^2I(\| u \| \le 1)[/math].
Также используется ядро Епанечникова, обладающее некоторыми свойствами оптимальности [Хардле В п4.5]; это функция параболического типа (Epanechnikov, 1969; Bartlett, 1963):
- [math]K(u)=0.75(1-u^2)I(\| u \| \le 1)[/math].
Другими примерами являются ядро Гаусса,
- [math]K(u)=(2\pi)^{-1/2} \exp(-u^2/2)[/math],
треугольное ядро
- [math]K(u)=(1-\|u\|)I(\| u \| \le 1)[/math],
и прямоугольное ядро
- [math]K(u)=(1/2)I(\| u \| \le 1)[/math].
Замечание. Точность восстанавливаемой зависимости мало зависит от выбора ядра. Ядро определяет степень гладкости функции [math]a(x)[/math].
Залежність від ширини вікна
Выбор окна решающим образом влияет на точность восстанавливаемой зависимости. При чересчур малых значениях [math]h[/math] кривая [math]a(x)[/math] стремится пройти через каждую точку выборки, остро реагируя на шумы и претерпевая резкие скачки, поскольку в этом случае оценка опирается только на небольшое число наблюдений из узкой окрестности точки [math]x[/math]. Наоборот, если ширина окна велика, функция чрезмерно сглаживается и в пределе при [math]h \rightarrow \infty[/math] вырождается в константу -- усреднённое значение величин [math]y_i[/math]. В этом случае сглаженная функция не даёт возможности определить характерные особенности искомой зависимости [math]y^*(x)[/math].
Література
- Хардле В.Прикладна непараметрична регресія-1989р.
- Воронцов К.В.Лекції по алгоритмам відновлення регресії - 2007.
- Лагутин М.Б.Прикладна математична статистика.- 2009
