Відмінності між версіями «Непараметрична регресія»
Vova (обговорення • внесок) (→Локально поліноміальні наближення) |
Vova (обговорення • внесок) (→Методи крос-валідації) |
||
Рядок 36: | Рядок 36: | ||
=== Методи крос-валідації === | === Методи крос-валідації === | ||
− | : | + | :Методи крос-валідації заснований на основе найменших квадратів – це повністю автоматичний і диктуються даними методу вибору згладжуваного параметра. Цей метод заснований на принципі вибору ширини вікна, мінімалізує інтегральну среднеквадратичну помилку отримуваної оцінки. Інтеграл квадрата різниці <math>y(x)</math> и <math>\hat{y}(x)</math> має вигляд |
::<math>\int{\[y(x) - \hat{y}(x)\]^2dx } = \int{y^2(x)dx} - 2*\int{y(x)\hat{y}(x)dx} + \int{\hat{y}^2(x)dx}</math> | ::<math>\int{\[y(x) - \hat{y}(x)\]^2dx } = \int{y^2(x)dx} - 2*\int{y(x)\hat{y}(x)dx} + \int{\hat{y}^2(x)dx}</math> | ||
[[Файл:Example_density.jpg||thumb|right|300px|Рис. 1. Оцінка щільності крос-валідаціїна основі найменших квадратів]] | [[Файл:Example_density.jpg||thumb|right|300px|Рис. 1. Оцінка щільності крос-валідаціїна основі найменших квадратів]] | ||
− | : | + | :Можна замінити ці величини їх вибірковими аналогами, зробити поправку на зсув і отримати цільову функцію, яку потім можна мінімізувати за допомогою чисельних методів. Цей підхід був запропонований в роботах Rudemo (1982) і Bowman (1984). Для розуміння сутності коментарів у Loader (1999) на '''Рис. 1''' зображені оцінки бімодальної щільності - ядерна оцінка при застосуванні правила підстановки і крос-валідації на основі найменших квадратів. '''Рис. 1'''показує, що насправді правило підстановки надмірно згладжує, приводячи до істотного зсуву в лівій вершині. Крос-валідація на основі найменших квадратів виправляє це, як зазначає Loader (1999), але ціною додаткової варіації в правій вершині. |
− | :Одна | + | : Одна з проблем даного підходу - його чутливість до наявності округлених або Дискретизований даних, а також до дрібномасштабних ефектів у даних. |
− | : | + | :З прикладу випливає, що, можливо, ядерну оцінку з фіксованим параметром <math>h</math> можна поліпшити, і існують «адаптивні» ядерні оцінки, які дозволяють <math>h</math> змінюватися в точці <math>x</math> або <math>X_i</math>; см. Abramson (1982) і Breiman, Meisel, Purcell (1977). Ці оцінки, однак, сприяють введенню помилкового шуму в оцінку щільності. Однак метод з фіксованим <math>h</math> домінує в прикладних дослідженнях. |
=== Бутстраповскі методи === | === Бутстраповскі методи === |
Версія за 13:18, 4 березня 2012
Дана стаття являється неперевіреним навчальним завданням.
До вказаного терміну стаття не повинна редагуватися іншими учасниками проекту. Після завершення терміну виконання будь-який учасник може вільно редагувати дану статтю і витерти дане попередження, що вводиться за допомогою шаблону. |
{{{img}}} | ||
Імя | Володимир | |
Прізвище | Шостак | |
По-батькові | Михайлович | |
Факультет | ФІС | |
Група | СН-51 | |
Залікова книжка | СН-11-222 |
Непараметрична регресія, на відміну від параметричних підходів, використовує модель, яка не описується кінцевим числом параметрів.
Зміст
Вступ
- Мета регресійного аналіза полягає у здійсненні розумної апроксимації невідомої функції відгуку [math]Y(X)[/math] по відомим точкам [math](X_i,Y_i)_{i = 1}^{m}[/math]. У випадку малих помилок спостереження стає можливим сконцентрувати увагу на важливих деталях середньої залежності [math]Y[/math] від [math]X[/math] при її інтерпретації.
Відмінність від параметричних підходів
- Процедура апроксимації зазвичай називається згладжуванням. По суті ця апроксимація функції відгуку [math]Y[/math] може бути виконана двома способами. Досить часто використовується параметричний підхід, що полягає у припущенні, що функція відгуку [math]Y[/math] має деяку визначену функціональну форму, наприклад, це пряма лінія з невідомим вільним членом і нахилом. Альтернативою цьому може служити спроба оцінити [math]Y[/math] непараметричним чином, без вказівки конкретного її виду. Перший підхід до аналізу регресійної залежності називається параметричним, оскільки передбачається, що вид функції повністю описується кінцевим набором параметрів. Типовий приклад параметричної моделі являє собою поліноміальне рівняння регресії, коли параметрами є коефіцієнти при невідомих. Однак при параметричному підході передбачається, що крива може бути представлена в термінах параметричної моделі, або, принаймні, є впевненість в тому, що помилка апроксимації для найкращого параметричного наближення є дуже мале. Навпаки, в непараметричної моделі регресійної залежності не проводиться проектування даних в "прокрустове ложе" фіксованого параметризації. Попереднє завдання параметричної моделі може виявитися занадто обмежувальним, або надто малою розмірності для апроксимації непередбачених характеристик, в той час, як непараметричне згладжування надає гнучкі засобам аналізу невідомих регресійних залежностей.
- Непараметричний підхід приводить, таким чином, до гнучкого функціонального виду кривої регресії.
Різновиди
Ядерне згладжування
- Одним із найпростіших методів є ядерне згладжування. Цей метод простий у застосуванні, не вимагає додаткових математичних відомостей і зрозумілий на інтуїтивному рівні. Ядерне згладжування в багатьох випадках є підходящим засобом. Існують різноманітні альтернативні методи згладжування такі, наприклад, як сплайни, але в [Хардле В., Заг 3] показується, що в асимптотичному сенсі вони еквівалентні ядерному згладжуванню.
- Ключем до проведення якісного непараметричного оцінювання є вибір відповідної ширини вікна для наявного завдання. Хоча ядерна функція [math]K[/math] залишається важливою, її головна роль полягає в забезпеченні диференцируємості і гладкісті отримуваної оцінки. Ширина вікна [math]h[/math], з іншого боку, визначає поведінку оцінки в кінцевих вибірках, що ядерна функція зробити просто не в змозі. Існують чотири загальні підходи до вибору ширини вікна:
- референтні евристичні правила;
- методи підстановки;
- методи крос-валідації;
- бутстраповские методи.
Заради охайності підкреслимо, що диктовані дані методи вибору ширини вікна [math]h[/math] не завжди гарантують гарний результат.
- Виходячи з мінімізації глобальної помилки потрібно [math]h[/math] брати рівним::
- [math]h_{opt}=\[ \frac{\int{K^2(z)dz}}{ \(\int{z^2K^2(z)dz} \)^2 \int{\[y''(x)\]^2dx} }\]^{-1/5} m^{-1/5}[/math], где [math]y(x)[/math] - невідома апроксимируюча залежність.
Референтні евристичні правила
- Референтні евристичні правила вибору ширини вікна використовують стандартне сімейство розподілів для визначення [math]h_{opt}[/math].
Розглянемо оцінку Парзена-Розенблата для одновимірної функції щільності
- [math]\hat{y}(x)=\frac{1}{mh} \sum_{i=0}^m{K\( \frac{X_i-x}{h}\)}[/math].
- У випадку сімейства нормальних розподілів і гауссовского ядра [math]h_{opt}=1.059*\sigma m^{-1/5}[/math]. На практиці застосовується [math]\hat{\sigma}[/math], вибіркове стандартне відхилення.
Методи підстановки
Методи підстановки, такі як в Sheather, Jones (1991), полягають у підстановці оцінок невідомої константи [math]\int{\[y''(x)\]^2dx[/math] в формулу для оптимальної ширини вікна на основі первинної оцінки [math]y''(x)[/math], яка в свою чергу заснована на «попередній» ширині вікна, наприклад, знайденої за правилом [math]1.059*\sigma m^{-1/5}[/math] . Всі інші константи у виразі для [math]h_{opt}[/math] відомі після вибору ядерної функції [math]K[/math] (отже [math]\int{K^2(z)dz}[/math] і [math]\int{z^2K^2(z)dz}[/math] відомі). Хоча такі правила популярні, зацікавлений читач може звернутися до праць Loader (1999), де обговорюються відносні переваги методів підстановки в порівнянні з іншими методами вибору ширини вікна, обговорюваними нижче.
Методи крос-валідації
- Методи крос-валідації заснований на основе найменших квадратів – це повністю автоматичний і диктуються даними методу вибору згладжуваного параметра. Цей метод заснований на принципі вибору ширини вікна, мінімалізує інтегральну среднеквадратичну помилку отримуваної оцінки. Інтеграл квадрата різниці [math]y(x)[/math] и [math]\hat{y}(x)[/math] має вигляд
- [math]\int{\[y(x) - \hat{y}(x)\]^2dx } = \int{y^2(x)dx} - 2*\int{y(x)\hat{y}(x)dx} + \int{\hat{y}^2(x)dx}[/math]
- Можна замінити ці величини їх вибірковими аналогами, зробити поправку на зсув і отримати цільову функцію, яку потім можна мінімізувати за допомогою чисельних методів. Цей підхід був запропонований в роботах Rudemo (1982) і Bowman (1984). Для розуміння сутності коментарів у Loader (1999) на Рис. 1 зображені оцінки бімодальної щільності - ядерна оцінка при застосуванні правила підстановки і крос-валідації на основі найменших квадратів. Рис. 1показує, що насправді правило підстановки надмірно згладжує, приводячи до істотного зсуву в лівій вершині. Крос-валідація на основі найменших квадратів виправляє це, як зазначає Loader (1999), але ціною додаткової варіації в правій вершині.
- Одна з проблем даного підходу - його чутливість до наявності округлених або Дискретизований даних, а також до дрібномасштабних ефектів у даних.
- З прикладу випливає, що, можливо, ядерну оцінку з фіксованим параметром [math]h[/math] можна поліпшити, і існують «адаптивні» ядерні оцінки, які дозволяють [math]h[/math] змінюватися в точці [math]x[/math] або [math]X_i[/math]; см. Abramson (1982) і Breiman, Meisel, Purcell (1977). Ці оцінки, однак, сприяють введенню помилкового шуму в оцінку щільності. Однак метод з фіксованим [math]h[/math] домінує в прикладних дослідженнях.
Бутстраповскі методи
- Faraway, Jhun (1990) запропонували метод вибору ширини вікна [math]h[/math] на основі бутстрапа, шляхом оцінювання інтегральної середньоквадратичної помилки для кожної фіксованої ширини вікна, і потім мінімізації її по всіх значенях. Даний підхід використовує згладжений бутстраповский метод на основі початкової оцінки щільності. Один з недоліків цього підходу в тому, що цільова функція є випадковою, що може привести до проблем при чисельної мінімізації, а також його обчислювальна складність.
Ядерні ваги визначають деяку ділянку навколо точки [math]x[/math] що лежить на сітці. Наступне питання згладжування - поліноміальний наближення функції [math]y[/math] в цій ділянці.
Локально поліноміальні наближення
- Найпростішим поліномом наближення в такій околиці є константа. Ядерна оцінка мінімізує суму квадратів нев'язок в околиці точки [math]x[/math], форма і розмір якої визначається ядром [math]K[/math].
- Локально поліноміальні наближення і його зв'язок з ядерним згладжуванням детально досліджені в працях (Muller 1987), де показана їх еквівалентність.
- Детальніше також див. Алгоритм LOWESS
kNN оцінки
- Конструкция оценок ближайших соседей отличается от ядерных оценок. Ядерная оценка определяется как взвешенное среднее перемененных отклика в фиксированной окрестности точки [math]x[/math], причем веса определялись ядром [math]K[/math] и шириной окна [math]h[/math]. Оценка k-ближайших соседей представляет собой среднее, взвешенное в изменяющейся окрестности. Эта окрестность определяется только теми значениями переменной [math]X[/math], которые являются [math]k[/math] ближайшими к [math]x[/math] по евклидову (обычно) расстоянию. Последовательность [math]k-NN[/math] весов была введена в работе Loftsgaarden, Quesenberry (1965) для близкой задачи оценивания плотности и использовалась в Cover, Hart(1967) для целей классификации.
- Параметр сглаживания [math]k[/math] определяет степень гладкости оценки кривой. Он играет ту же роль, что и ширина окна для ядерных сглаживателей. Влияние переменного [math]k[/math] на качественные характеристики оценки аналогочино случаю ядерных оценок с прямоугольным ядром.
- На Рис. 3. изображен пример сравнения ядерного сглаживания с квартическим ядром и [math]k-NN[/math] сглаживания. Ширина окна выбиралась методом кросс-проверки. Данные прогонялись через окна шириной [math]h=0.25[/math] для ядерного сглаживания на отрезке [math][0,3][/math] и [math]h=0.15[/math] для оси значений. Получившиеся кривые регрессии практически совпадают для [math]x\le 1[/math], где лежит большая часть данных. При бо‘льших значения [math]x[/math] наблюдается существенное расхождение кривых: ядерная оценка показывает очевидное бимодальное соотношение, а симметризованная оценка ближайших соседей указывает либо на асимптоту, либо даже на слабое убывание с ростом дохода. В контексте задачи, кажется, что последнее содержит больше смысла с точки зрения экономики...
Оценки ортогональных разложений
Предположим, что функция регрессии может быть представлена в виде ряда Фурье
- [math]y(x)=\sum_{j=0}^{\infty}\beta_j\varphi_j(x)[/math],
- где [math]{\{\varphi_j\}}_{j=0}^\infty[/math] - известна система базисных функций, а [math]{\{\beta_j\}}_{j=0}^\infty[/math] - неизвестные коэффициенты Фурье. В работе Szego (1959) приведены условия, при которых такое представление возможно. Хорошо известными системами базисных функций являются полиномы Лагерра и полиномы Лежандра. Как только фиксирован базис функций, проблема оценивания функции регрессии может быть сведена к оцениванию коэффициентов Фурье. Конечно, существует определенная трудность, состоящая в том, что может быть бесконечно много ненулевых коэффициентов [math]\beta_j[/math]. Таким образом, при заданном конечном объеме выборки [math]m[/math] можно эффективно оценить лишь подмножество коэффициентов.
- Пример применения показан на Рис. 4.
Зглажування сплайнами
Общей мерой близости к данным для некоторой кривой [math]g[/math] является сумма квадратов невязок
- [math]\sum_{i=1}^{n}{(Y_i-g(X_i))}^2[/math]
- Если [math]g[/math] может любой кривой - неограниченной в функциональном смысле - то эта мера, имеющая смысл расстояния, равна нулю для всякой кривой [math]g[/math], интерполирующей данные. Подход, основанный на сглаживании сплайнами, исключает эту нежелательную интерполяцию данных за счет достижения компромисса между двумя противоречивыми целями: получить хорошую аппроксимацию данных и получить кривую, не имеющую слишком быстрых локальных изменений.
- Известны различные способы количественной оценки локальных изменений. Можно определить меру плавности кривой, основанную, например, на первой, второй, и более старших производных. Для успешного раскрытия основной идеи удобнее всего ввести интеграл от квадрата второй производной, т.е. для количественной оценки локального изменения использовать штраф за нарушение плавности
- [math]\int {(g''(x))}^2dx[/math].
- Пример сглаживания сплайнами представлен на Рис. 5. интерпретация данных: данные о мотоцикле [ Значения [math]X[/math] (в мс) после смоделированного столкновения с мотоциклом. Переменная отклика [math]Y[/math] - ускорение (в g) посмертного тестирования объекта. Из Schmidt, Mattern, Schiiler (1981)]
Перелік менш поширених методів
Рекурентні методи
- Предположим, что данные [math]\{(X_i,Y_i)\}_{i\ge l}[/math] наблюдаются не как выборка фиксированного объема [math]m[/math], а как последовательность пар [math](X_1,Y_1),(X_2,Y_2),\ldots[/math] поступающих с выхода некоторого устройства наблюдения. Такие устройства присутствуют в задачах контроля (surveillance problems), управления (control operations) или вмешательства(intervention problems). В общем случае можно рассматривать данные как временной ряд. Поскольку непараметрическая
оценка обычно определяется по всей выборке, ее приходится пересчитывать при поступлении новых данных. Следовательно, с вычислительной точки зрения предпочтительнее, чтобы оценка регрессии, основанная на [math](n + 1)[/math] точках, строилась исходя из [math](n + 1)[/math]-го наблюдения [math](X_{n+i},Y_{n+1})[/math] и оценки, полученной по первым [math]n[/math] точкам, без вызова предыдущих данных из памяти компьютера.
Регрессограмма
- Этот термин был введен Тьюки (Tukey, 1961) для того, чтобы подчеркнуть связь этой оценки с гистограммой. Регрессограмма представляет собой среднее тех значений переменных отклика, для которых соответствующие величины [math]X[/math] попадают в один из интервалов разбиения пространства наблюдений переменной [math]X[/math] Tukey(1947) - ее можно рассматривать как аппроксимацию [math]y(x)[/math] ступенчатой функцией, и она фактически является ядерной оценкой (с прямоугольным ядром), вычисленной в средних точках интервалов разбиения. На Рис. 6. изображены данные о работе мотоцикла и регрессограмма при шаге разбиения 4.
Література
- Хардле В. непараметрическая регрессия.- 1989.
- Расин, Джеффри «Непараметрическая эконометрика: вводный курс». - Квантиль, №4, 2008. - 7–56стр.
Ссилки
- Abramson, I.S. On bandwidth variation in kernel estimates – a square root law. Annals of Statistics 10. – 1982 . - 1217–1223 стр.
- Bowman, A.W. An alternative method of cross-validation for the smoothing of density estimates. Biometrika 7. - 1984 . - 353 –360 стр.
- Breiman, L., W. Meisel, E. Purcell Variable kernel estimates of multivariate densities. Technometrics 19. - 1977 . - 135 –144 стр.
- Cover, T. M. and Hart, P. E. Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 13. - 1967 . - 21 -27 стр.
- Faraway, J., M. Jhun Bootstrap choice of bandwidth for density estimation. Journal of the American Statistical Association 85.- 1990.-1119–1122 стр.
- Loader, C.R.Bandwidth selection: Classical or plug-in? Annals of Statistics 27.-1999. - 415–438 стр.
- Loftsgaarden, D. O., Quesenberry, G. P. A nonparametric estimate of a multivariate density function. Annals of Mathematical Statistics, 36.-1965.-1049-1051 стр.
- Muller H. G. Weighted local regression and kernel methods for nonparametric curve fitting. Journal of the American Statistical Association, 82.-1987.-231-238 стр.
- Rudemo, M. Empirical choice of histograms and kernel density estimators. Scandinavian Journal of Statistics 9.-1982. -65–78 стр.
- Schmidt, G. Mattern, R., Schiiler, F. Biomechanical investigation to determine physical and traumatological differentiation criteria for the maximum load capacity of head and vertebral column with and without protective helmet under effects of impact. EEC Research Program on Biomechanics of Impacts. Final Report Phase III, Project 65, Institut fur Rechtsmedizin, Universitat Heidelberg, West Germany.-1981.- 231-238 стр.
- Sheather, S., M. Jones A reliable data-based bandwidth selection method for kernel density estimation. Journal of Royal Statistical Society, Series B 53.-1991. - 683–690 стр.
- Szego, G. Orthogonal polynomials. Amer. Math. Soc. Coll. PubL, 23.-1959.
- Tukey, J. W. Nonparametric estimation II. Statistically equivalent blocks and tolerance regions. The continuous case. Annals of Mathematical Statistics, 18.-1947. - 529-539 стр.