Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Сб май 21, 2022 6:27 am

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 14 ] 
Автор Сообщение
 Заголовок сообщения: Статистика Уилкса
СообщениеДобавлено: Пн мар 17, 2008 3:55 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Уважаемый Александр Иванович!
Можно ли проверять статистическую значимость дискриминантной функции путем расчета U-статистики Уилкса (отношение определителя внутригрупповой ковариационной матрицы к определителю полной ковариационной матрицы) в случае, если нет оснований предполагать равенство матриц ковариаций и нормальность распределения дискриминантных переменных, являющихся необходимыми условиями дискриминантного анализа? Вопрос относится к полученной в США модели Э.Альтмана вида:
Z=a*X1+b*x2+с*x3+d*x4
Классификация осуществляется по группам: в случае если Z>Z1 - группа 1; если Z<Z2 - группа 2.
И еще вопросы: к какому виду дискриминантной модели относится приведенная модель Альтмана? Классификация в указанном случае основывается на расстоянии Махаланобиса?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн мар 17, 2008 11:13 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 10184
В терминах темы "Математические теории рейтингов" http://forum.orlovs.pp.ru/viewtopic.php?t=627
Цитата:
модель Э.Альтмана вида:
Z=a*X1+b*x2+с*x3+d*x4
Классификация осуществляется по группам: в случае если Z>Z1 - группа 1; если Z<Z2 - группа 2.

относится к группе методов
3. Оценка на основе системы показателей с весовыми коэффициентами.
О дальнейшем смю указанную тему и данные в ней ссылки на интернет-ресурсы.
Ваш вопрос:
Цитата:
Можно ли проверять статистическую значимость дискриминантной функции путем расчета U-статистики Уилкса (отношение определителя внутригрупповой ковариационной матрицы к определителю полной ковариационной матрицы) в случае, если нет оснований предполагать равенство матриц ковариаций и нормальность распределения дискриминантных переменных, являющихся необходимыми условиями дискриминантного анализа?

содержит в себе проиворечие.
Действительно,
Цитата:
нет оснований предполагать равенство матриц ковариаций и нормальность распределения дискриминантных переменных
, однако эти предположения отнюдь не являются
Цитата:
необходимыми условиями дискриминантного анализа
- см. мои учебники "Эконометрика", п. 5.3-5.4, и "Прикладная статистика".
Если Вы спрашиваете, как ведет себя
Цитата:
U-статистики Уилкса (отношение определителя внутригрупповой ковариационной матрицы к определителю полной ковариационной матрицы) в случае, если нет оснований предполагать равенство матриц ковариаций и нормальность распределения дискриминантных переменных
, то этого я не знаю.
И не понимаю, почему Вы связываете U-статистику Уилкса с моделью Э.Альтмана. Даже если эта модель получена с помощью некорректной процедуры линейного дискриминатного анализа Фищера, прогностическую силу модели Альтмана можно рассчитывать по методам, указанным в теме "Математические теории рейтингов" .


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт мар 18, 2008 7:54 am 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
1. Касательно U-статистики Уилкса http://www.ievbran.ru/kiril/Library/Boo ... ent383.htm
Цитирую: "Другим, в некоторых случаях более точным способом проверки гипотезы Ho является использование U-статистики Уилкса (она же – лямбда Вилкса), которая вычисляется как отношение детерминантов (det) матрицы внутригрупповой ковариации W и полной ковариационной матрицы Т :

U = det(W) / det(T).

Аппроксимация статистики U-Уилкса с помощью F-распределения была выполнена К. Рао."
2. То есть, я так понимаю, что равенство матриц ковариаций и нормальность распределения значений дискриминантных переменных в каждом классе - это необходимые условия ТОЛЬКО для классического дискриминантного анализа Фишера?
3. Классификация в модели Альтмана основана на расстоянии Махаланобиса? Если так - то модель Альтмана по сути основана на классическом линейном дискриминантном анализе? Модель Альтмана - это же по сути линейный рейтинг. Если Z>Z1 - то 1 класс; если Z<Z2 - то 2 класс, а если Z2<=Z=<Z1 - то класс неопределен.

Цитирую из Вашего учебника: "Для решения задач диагностики используют два подхода – параметрический и непараметрический. Первый из них обычно основан на использовании того или иного индекса и сравнения его с порогом. Индекс может быть построен по статистическим данным, например, как в уже упомянутом линейном дискриминантном анализе Фишера. Часто индекс представляет собой линейную функцию от характеристик, выбранных специалистами предметной области, коэффициенты которой подбирают эмпирически."

Я так понимаю, что модель Альтмана основана на параметрическом подходе. В модели Альтмана Z - тот самый индекс, построенный по статистическим данным, который сранивается с порогами (Z1 и Z2). То есть конкретная рассматриваемая модель Альтмана требует соблюдения условий равенства матриц ковариаций и нормальности распредления значений дискриминантных переменных в каждом классе?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт мар 18, 2008 4:33 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 10184
1. Критерий Уилкса получен на основе предположений, которые для реальных данных не выполняются.
2. Если Вы хотите применять какой-либо индекс, то не имеет значения, как он получен - прочтен на потолке или рассчитан с помощью сомнительной модели. Важна его характеристика - прогностическая сила.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт мар 18, 2008 6:02 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
1. Значит линейную модель рейтинга (по типу модели Альтмана) можно получить и на основе непараметрического подхода? Нельзя достоверно сказать, что модель Альтмана основана на классическом дискриминантном анализе Фишера?
2. Тогда в каком случае нормальность распределения значений дискриминантных переменных в каждом классе и равенство матриц ковариаций является необходимым условием?
3. Если классификация производиться на основе нескольких дискриминантных функций, например:
M1=a+b*x1+c*x2
M2=d+e*x1+f*x2
M3=g+h*x1+i*x2
и объект классифицируется в тот класс, для которого значение дискриминантной функции максимально, то и такие модели могут быть получены на основе как параметрического, так и непараметрического подхода?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 20, 2008 10:34 am 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
1. Я просто пытаюсь понять: любая ли линейная модель дискриминации (использующая классификацию на основе рейтинга и сравнения его с порогом или байесовскую процедуру классификации) может быть получена как на основе параметрического, так и на основе непараметрического подхода? Или же любая линейная модель дискриминации обязательно основана на нормальности распределения дискриминантных переменных в каждом классе и равенстве матриц ковариаций?

2. Действительно ли линейные дискриминантные функции, использующие байесовскую процедуру классификации
цитирую: "... предполагают лишь равенство групповых ковариационных матриц и не требуют других дополнительных свойств"? Источник http://masters.donntu.edu.ua/2005/kita/ ... htm#part21


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 20, 2008 1:56 pm 
Не в сети

Зарегистрирован: Чт мар 20, 2008 1:25 pm
Сообщений: 191
Откуда: Солнечная система
Займитесь определением терминов.
Сейчас получилась смесь, в которой невозможно разобраться.
Например, линейной дискриминантной функцией естественно называть линейную функцию от используемых (для дискриминации переменных.
Тогда ясно, что такую функцию можно получить разными путями.
Экспертно.
Обработав некие данные с помощью некоторого алгоритма.
Обработав некие данные с помощью некоторого алгоритма на основе той или иной вероятностно-статистической модели - параметрической или непараметрической.
И т.д., и т.п.
Прочтите внимательно соответствующие разделы учебников. Например пп.5.3 и 5.4 учебника "Эконометрика" на сайте http://orlovs.pp.ru


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 20, 2008 4:51 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Просто сам не пойму - для чего тогда в различных источниках пишут о предположениях (о нормальности распределения и равенстве матриц ковариаций), на которых основан дискриминантный анализ?
например тут http://www.statsoft.ru/home/textbook/mo ... ssumptions
или тут
http://masters.donntu.edu.ua/2005/kita/ ... htm#part11

Попробую сформулировать проще - то есть эти предположения должны соблюдаться только для модели, основанной на классическом линейном дискриминантном анализе Фишера?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 20, 2008 5:13 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 10184
Точнее:
классический линейный дискриминантный анализ Фишера
исходит из (опирается на, основан на) вероятностно-статистической модели, согласно которой
1) каждый из классов описывается многомерным нормальным распределением,
2) причем ковариационные матрицы для всех классов совпадают (следовательно, классы отличаются только математическими ожиданиями).

Классический линейный дискриминантный анализ Фишера дает определенные формулы для расчета параметров (коэффициентов) индекса (дискриминантная плоскость задается условием: индекс равен константе).
Эти формулы могут формально использовать и тогда, когда про справедливость предпосылок 1) и 2) ничего не известно.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 20, 2008 7:04 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Значит тут есть неверные формулировки http://masters.donntu.edu.ua/2005/kita/ ... htm#part11
"В модели дискриминации должны соблюдаться следующие условия:

число групп: ;
число объектов в каждой группе: ;
число дискриминантных переменных: ;
дискриминантные переменные измеряются в интервальной шкале;
дискриминантные переменные линейно независимы;
ковариационные матрицы групп примерно равны;
дискриминантные переменные в каждой группе подчиняются многомерному нормальному закону распределения."


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 20, 2008 7:31 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 10184
Конечно, неверные.
Автор этого опуса использует для дискриминации линейную функцию, предполагает многомерную нормальность.
Это - очень частная постановка с математической точки зрения.
И предпосылки для реальных данных неверны, в т.ч.
Цитата:
ковариационные матрицы групп примерно равны
.

Дискриминантный анализ - это гораздо более широкая и практичная область знаний.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн апр 14, 2008 3:51 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Уважаемый Александр Иванович! Можно ли узнать, а на основе каких предположений получен критерий Уилкса? Я так понимаю, что для применения этого критерия эти же предположения должны соблюдаться?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср апр 16, 2008 9:22 am 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Уважаемый Александр Иванович! Можно ли узнать в каком-либо источнике о предположениях, используемых в критерии Уилкса?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср апр 16, 2008 10:36 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 10184
Наберите в поисковой машине "критерий Уилкса".


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 14 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: Google [Bot] и гости: 6


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB