Непараметрична регресія - Історія редагувань

Vova в 12:00, 13 березня 2012

2012-03-13T12:00:42Z

Vova: /* Див. також */

2012-03-13T11:59:50Z

‎Див. також

Vova: /* Ссилки */

2012-03-13T11:59:32Z

‎Ссилки

Vova: /* Медіанне згладжування */

2012-03-13T11:58:53Z

‎Медіанне згладжування

Vova: /* Регресограмма */

2012-03-13T11:56:14Z

‎Регресограмма

Vova: /* Рекурентні методи */

2012-03-13T11:54:46Z

‎Рекурентні методи

Vova: /* Регрессограмма */

2012-03-13T11:53:29Z

‎Регрессограмма

Vova: /* Зглажування сплайнами */

2012-03-13T11:53:03Z

‎Зглажування сплайнами

Vova: /* Оцінки ортогональніх розкладань */

2012-03-13T11:52:20Z

‎Оцінки ортогональніх розкладань

Vova: /* k-NN оцінки */

2012-03-13T11:51:30Z

‎k-NN оцінки

← Попередня версія		Версія за 12:00, 13 березня 2012
Рядок 1:		Рядок 1:
−	~~{{Невідредаговано}}~~
	{{Студент \| Name=Володимир \| Surname=Шостак \| FatherNAme=Михайлович \|Faculti=ФІС \| Group=СН-51 \| Zalbook=СН-11-222}}		{{Студент \| Name=Володимир \| Surname=Шостак \| FatherNAme=Михайлович \|Faculti=ФІС \| Group=СН-51 \| Zalbook=СН-11-222}}
	'''Непараметрична регресія''', на відміну від параметричних підходів, використовує модель, яка не описується кінцевим числом параметрів.		'''Непараметрична регресія''', на відміну від параметричних підходів, використовує модель, яка не описується кінцевим числом параметрів.

@@ Рядок 117: / Рядок 117: @@
 ==Див. також==
-* [[Ядерне зглажуваня]]
+* [[Ядерне згладжуваня]]
 * [[Регресійний аналіз]]

@@ Рядок 100: / Рядок 100: @@
 # ''Расин,  Джеффри'' «Непараметрическая эконометрика:  вводный  курс». - Квантиль,  №4,  2008. - 7–56стр.
-== Ссилки ==
+== Посилання ==
 # ''Abramson,  I.S.'' On  bandwidth  variation  in  kernel  estimates  –  a  square  root  law.  Annals  of  Statistics 10. – 1982 . -   1217–1223 стр.

@@ Рядок 91: / Рядок 91: @@
 === Медіанне згладжування ===
 [[Файл:300px-Example_med.jpg|300px|thumb|right|Рис. 7.  Медіанне згладжування]]
-:Припустимо, що метою апроксимації є крива умов медіани <math>med(Y|X = x)</math>, а не крива умовного середнього. Послідовність '''''"локальних медиан"''''' для значень змінної відгуку визначає э '''''медіанний зглажувач'''''. Медіанне згладжування зіграло важливу роль в історичному розвитку методів згладжування.
+:Припустимо, що метою апроксимації є крива умов медіани <math>med(Y|X = x)</math>, а не крива умовного середнього. Послідовність '''''"локальних медіан"''''' для значень змінної відгуку визначає э '''''медіанний згладжувач'''''. Медіанне згладжування зіграло важливу роль в історичному розвитку методів згладжування.
-: Ця оцінка має очевидну аналогію з <math>k-NN</math> - оцінкою, але відрізняється, принаймні, у двох аспектах: медіанне згладжування стійко по відношенню до великих викидів, і за допомогою цього методу з'являється можливість моделювати розриви кривої регресії <math> med(Y|X = x)</math>. На '''Рис. 7.''' На прикладі даних про мотоциклах ('''див. Пояснення до Рис. 5''') наведено порівняння двох методів оцінювання - медіанного згладжування і <math>k-NN</math> - оцінки.
+: Ця оцінка має очевидну аналогію з <math>k-NN</math> - оцінкою, але відрізняється, принаймні, у двох аспектах: медіанне згладжування стійке відносно великих викидів, і за допомогою цього методу з'являється можливість моделювати розриви кривої регресії <math> med(Y|X = x)</math>. На '''Рис. 7.''' На прикладі даних про мотоцикли ('''див. Пояснення до Рис. 5''') наведено порівняння двох методів оцінювання - медіанного згладжування і <math>k-NN</math> - оцінки.
 : Цей приклад виявляє властивість робастності медіанного згладжування. Медіанна оцінка не схильна до впливу групи можливих викидів в районі точки <math>x = 35 </math>, і вона трохи ближче до основної маси даних у двох '''''«областях сплесків»''''' <math>(x = 20,32)</math>. Деякий недолік полягає в тому, що за своєю природою оцінка медіанного згладжування є грубою характеристикою.

@@ Рядок 87: / Рядок 87: @@
 === Регресограмма ===
-: Цей термін був введений Тьюкі (Tukey, 1961) для того, щоб підкреслити зв'язок цієї оцінки з гістограмою. Регрессограмма являє собою середнє тих значень змінних відгуку, для яких відповідні величини <math>X</math> потрапляють в один з інтервалів розбиття простору спостережень змінної <math>X</math> Tukey (1947) - її можна розглядати як апроксимацію <math>y(x)</math> ступінчастою функцією, і вона фактично є ядерною оцінкою (з прямокутним ядром), обчисленої в середніх точках інтервалів розбиття. На '''Рис. 6.''' Зображені дані про роботу мотоцикла і регрессограмма при кроці розбиття 4.
+: Цей термін був введений Тьюкі (Tukey, 1961) для того, щоб підкреслити зв'язок цієї оцінки з гістограмою. Регресограмма є середнім тих значень змінних відгуку, для яких відповідні величини <math>X</math> потрапляють в один з інтервалів розбиття простору спостережень змінної <math>X</math> Tukey (1947) - її можна розглядати як апроксимацію <math>y(x)</math> ступінчастою функцією, і вона фактично є ядерною оцінкою (з прямокутним ядром), обчисленої в середніх точках інтервалів розбиття. На '''Рис. 6.''' Зображені дані про роботу мотоцикла і регресограмма при кроці розбиття 4.
 === Медіанне згладжування ===

@@ Рядок 84: / Рядок 84: @@
 [[Файл:300px-Example_regr.jpg|thumb|right|300px|Рис. 6. Регрессограмма]]
 === Рекурентні методи ===
-:Припустимо, що дані <math>\{(X_i,Y_i)\}_{i\ ge l}</math> спостерігаються не як вибірка фіксованого обсягу <math>m</math>, а як послідовність пар <math>(X_1,Y_1), (X_2,Y_2),\ldots</math> надходять з виходу деякого пристрою спостереження. Такі пристрої присутні в задачах контролю (surveillance problems), управління (control operations) або втручання (intervention problems). У загальному випадку можна розглядати дані як часовий ряд. Оскільки непараметричні оцінки зазвичай визначаються по всій вибірці, її доводиться перераховувати при надходженні нових даних. Отже, з обчислювальної точки зору краще, щоб оцінка регресії, заснована на <math>(n + 1)</math> точках, будувалася виходячи з <math>(n + 1)</math> -го спостереження <math>(X_{n + i},Y_{n +1})</math> та оцінки, отриманої за першими <math>n</math> точкам, без виклику попередніх даних з пам'яті комп'ютера.
+:Припустимо, що дані <math>\{(X_i,Y_i)\}_{i\ ge l}</math> спостерігаються не як вибірка фіксованого обсягу <math>m</math>, а як послідовність пар <math>(X_1,Y_1), (X_2,Y_2),\ldots</math> надходять з виходу деякого пристрою спостереження. Такі пристрої присутні в задачах контролю (surveillance problems), управління (control operations) або втручання (intervention problems). У загальному випадку можна розглядати дані як часовий ряд. Оскільки непараметричні оцінки зазвичай визначаються по всій вибірці, її доводиться перераховувати при надходженні нових даних. Отже, з обчислювальної точки зору краще, щоб оцінка регресії, заснована на <math>(n + 1)</math> точках, будувалася виходячи з <math>(n + 1)</math> -го спостереження <math>(X_{n + i},Y_{n +1})</math> та оцінки, отриманої за першими <math>n</math> точками, без виклику попередніх даних з пам'яті комп'ютера.
 === Регресограмма ===

@@ Рядок 71: / Рядок 71: @@
 : Приклад застосування показаний на'' 'Рис. 4.'' '
-== Зглажування сплайнами ==
+== Згладжування сплайнами ==
-[[Файл:300px-Example_spline.jpg|300px|thumb|right|Рис. 5. Зглажування за допомогою сплайнів]]
+[[Файл:300px-Example_spline.jpg|300px|thumb|right|Рис. 5. Згладжування за допомогою сплайнів]]
 Загальною мірою близькості до даних для деякої кривої <math>g</math> є сума квадратів нев'язок
 ::<math>\sum_{i=1}^{n}{(Y_i-g(X_i))}^2</math>

@@ Рядок 63: / Рядок 63: @@
 :На '''Рис. 3.''' Зображений приклад порівняння ядерного згладжування з [[ядерне згладжування | квартіческім ядром]] і <math>k-NN</math> згладжування. Ширина вікна вибиралася методом [[крос-перевірки]]. Дані пропускались через вікна шириною <math>h = 0.25</math> для ядерного згладжування на відрізку <math>[0,3]</math> і <math>h = 0.15</math> для осі значень. Отримані криві регресії практично збігаються для <math>x\le 1</math>, де лежить велика частина даних. При більших значеннях <math>x</math> спостерігається істотна розбіжність кривих: ядерна оцінка показує очевидне бімодальне співвідношення, а симетризована оцінка найближчих сусідів вказує або на асимптоту, або навіть на слабке спадання із зростанням доходу. В контексті завдання, здається, що останнє містить більше сенсу з точки зору економіки ...
-== Оцінки ортогональніх розкладань ==
+== Оцінки ортогональних розкладань ==
-[[Файл:300px-Example_fur.jpg|300px|thumb|right|Рис. 4. Згладжування c допомогою ортогональних розкладань]]
+[[Файл:300px-Example_fur.jpg|300px|thumb|right|Рис. 4. Згладжування з допомогою ортогональних розкладань]]
 Припустимо, що функція регресії може бути представлена у вигляді ряду Фур'є
 ::<math>y(x)=\sum_{j=0}^{\infty}\beta_j\varphi_j(x)</math>,

@@ Рядок 57: / Рядок 57: @@
 == k-NN оцінки==
-[[Файл:300px-Example_knn.jpg|300px|thumb|right|Рис. 3. k-NN зглажування]]
+[[Файл:300px-Example_knn.jpg|300px|thumb|right|Рис. 3. k-NN згладжування]]
-:Конструкція оцінок [[Метод найближчих сусідів | найближчих сусідів]] відрізняється від ядерних оцінок. Ядерна оцінка визначається як зважене середнє зміних відгуку у фіксованій ділянці точки <math>x</math>, причому ваги визначалися ядром <math>K</math> і шириною вікна <math>h</math>. Оцінка '''''k-найближчих сусідів''''' являє собою середнє, зважене в мінливих ділянок. Ця ділянка визначається тільки тими значеннями змінної <math>X</math>, які в <math>k</math> є найближчими до <math>x</math> по евкліду ('''звичайної''') віддалі. Послідовність <math>k-NN</math> ваг була введена в роботі Loftsgaarden, Quesenberry (1965) для близької задачі оцінювання щільності і використовувалася в Cover, Hart (1967) для цілей класифікації.
+:Конструкція оцінок [[Метод найближчих сусідів | найближчих сусідів]] відрізняється від ядерних оцінок. Ядерна оцінка визначається як зважене середнє змінних відгуку у фіксованій ділянці точки <math>x</math>, причому ваги визначалися ядром <math>K</math> і шириною вікна <math>h</math>. Оцінка '''''k-найближчих сусідів''''' є середнім, зваженим в мінливих ділянках. Ця ділянка визначається тільки тими значеннями змінної <math>X</math>, які в <math>k</math> є найближчими до <math>x</math> за евклідом ('''звичайної''') віддалі. Послідовність <math>k-NN</math> ваг була введена в роботі Loftsgaarden, Quesenberry (1965) для близької задачі оцінювання щільності і використовувалася в Cover, Hart (1967) для цілей класифікації.
-: Параметр згладжування <math>k</math> визначає ступінь гладкості оцінки кривої. Він грає ту ж роль, що і ширина вікна для ядерних зглажувань. Вплив змінного <math>k</math> на якісні характеристики оцінки '''аналогочіно випадку ядерних оцінок з прямокутним ядром'''.
+: Параметр згладжування <math>k</math> визначає ступінь гладкості оцінки кривої. Він грає ту ж роль, що і ширина вікна для ядерних згладжувань. Вплив змінного <math>k</math> на якісні характеристики оцінки '''аналогочно випадку ядерних оцінок з прямокутним ядром'''.
-:На '''Рис. 3.''' Зображений приклад порівняння ядерного згладжування з [[ядерне згладжування | квартіческім ядром]] і <math>k-NN</math> згладжування. Ширина вікна вибиралася методом [[крос-перевірки]]. Дані пропусколись через вікна шириною <math>h = 0.25</math> для ядерного згладжування на відрізку <math>[0,3]</math> і <math>h = 0.15</math> для осі значень. Отримані криві регресії практично збігаються для <math>x\le 1</math>, де лежить велика частина даних. При більших значенях <math>x</math> спостерігається істотна розбіжність кривих: ядерна оцінка показує очевидне бімодальне співвідношення, а симетризовавша оцінка найближчих сусідів вказує або на асимптоту, або навіть на слабке спадання із зростанням доходу. В контексті завдання, здається, що останнє містить більше сенсу з точки зору економіки ...
+:На '''Рис. 3.''' Зображений приклад порівняння ядерного згладжування з [[ядерне згладжування | квартіческім ядром]] і <math>k-NN</math> згладжування. Ширина вікна вибиралася методом [[крос-перевірки]]. Дані пропускались через вікна шириною <math>h = 0.25</math> для ядерного згладжування на відрізку <math>[0,3]</math> і <math>h = 0.15</math> для осі значень. Отримані криві регресії практично збігаються для <math>x\le 1</math>, де лежить велика частина даних. При більших значеннях <math>x</math> спостерігається істотна розбіжність кривих: ядерна оцінка показує очевидне бімодальне співвідношення, а симетризована оцінка найближчих сусідів вказує або на асимптоту, або навіть на слабке спадання із зростанням доходу. В контексті завдання, здається, що останнє містить більше сенсу з точки зору економіки ...
 == Оцінки ортогональніх розкладань ==