Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Сб апр 04, 2020 10:38 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 16 ] 
Автор Сообщение
 Заголовок сообщения: Перестановочные тесты 2
СообщениеДобавлено: Ср сен 27, 2006 8:41 pm 
Не в сети

Зарегистрирован: Вс сен 24, 2006 4:58 pm
Сообщений: 21
Не надо серчать. Может я и ламер, но непонятки-то серьезные.

ОК. Приведу еще более полную цитату:

"Мы описали критерий Уилкоксона для проверки гипотезы об однородности двух выборок в условиях, когда функции распределений данных непрерывны и, тем самым, в выборках не должно быть совпадающих наблюдений. Однако на практике совпадающие наблюдения - не редкость. Чаще всего это происходит не потому, что нарушается условие непрерывности, а из-за ограниченной точности записи результатов измерений (например, рост человека обычно измеряется с точностью до 1 см). Применение критерия Уилкоксона к таким данным приводит к приближенным выводам, точность которых тем ниже, чем больше совпадающих значений." с. 123-124


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 27, 2006 9:23 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Совершенно верно.
А точнее, реальность описывается более сложными моделями, чем исходная модель с непрерывными функциями распределения.
Одна из этих более сложных моделей - модель статистики интервальных данных (см. гл.4 "Нечисловой статистики" на сайте). Там рассмотрен критерий Смирнова для проверки однородности двух выборок.
Есть и другие модели. Например, А.М. Никифоров предлагал к совпадающим значениям прибавлять малые погрешности, чтобы сделать их различными. При этом значение критерия Вилкоксона размывается - от и до (Труды Королевского статистического общества, начало 90-х).


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 27, 2006 10:56 pm 
Не в сети

Зарегистрирован: Вс сен 24, 2006 4:58 pm
Сообщений: 21
Это все конечно хорошо, только вот для критерия Вилкоксона модель Никифорова явно пытается использовать недопустимое преобразование шкалы и, собственно, ничем не отличается от других "уловок", а критерий Смирнова сильно отличается от рассматриваемого критерия.

Проблема в том, что критерий Вилкоксона - это лишь попытка математиков подменить решение задачи другой задачей, более простой для решения. В их время компьютеров не было. Вилкоксон не зря редуцировал шкалу к ранговой и "запретил" совпадения. В этом случае функция распределения получается достаточно гладкой и красивой, что очень удобно математикам, только вот для реального применения в указанном выше случае это не подойдет, потому что шкала слишком узкая и наблюдаемое распределение чрезвычайно сильно будет отличаться от табличного, а формулы для корректировок не будут точными. Там вообще будут сплошные совпадения. Неспроста сейчас идет возврат к критериям рандомизации или точному вычислению статистики критерия Вилкоксона, что в принципе одно и то же. Для таких случаев даже сводят задачу к таблице сопряженности, что явно упрощает подсчеты, только будет проблема факториалов.

Кстати, тот же Холлендер в предисловии называет Питмана, как одного из основателей непараметрической статистики.

PS.
Спасибо программисту за ссылку. Очень полезно.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 5:54 am 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Максиму.
Спасибо за перечень источников в закрытой профессором теме. Многие для меня оказались новыми. Нашел, некоторые загрузил. Сейчас читаю. Честно говоря, не знал, что исследования по перестановочным критериям [за рубежом] идут так широко. Интенсивное использование компьютеров открыло перед перестановочными алгоритмами новые перспективы. Но вот со скоростью не все вопросы решены. Для пользователя на реальных выборках (от единиц до тысяч) вычисления должны выполняться мгновенно. Утверждаю это, как программист. Даже 10-11 секунд - это много. Нужны радикально новые идеи. Прямой перебор бесперспективен. Если эта проблема будет решена, можно будет забыть о прочих параметрических и непараметрических методах - они останутся лишь историческим курьезом. Кстати, Вам известны точные формулы вычисления критических значений статистик критериев Вилкоксона и критерия Манна-Уитни?

Профессору.
Да, в статистике я не силен. И что с того? Но я и не утверждаю обратного. Считаю по готовым формулам и пытаюсь понять чуть больше, чем указано в задании босса. Я же не обвиняю в невежестве лиц, не умеющих чинить компьютеры, штукатурить стены или строить сараи. Другие профессора не смогут простейший алгоритм запрограммировать, но глобально рассуждают на тему бесполезности компьютеров. И их не называю невеждами. Просьба воздержаться от грубости. Если это невозможно, удалите мой аккаунт, и я не буду больше заходить на Ваш сайт.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 8:14 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Как назвать деятельность лица. которое является на форум, посвященный мало ему знакомсой области науки, начинает вещать, чем надо заниматься (причем не может разъяснить, о чем говорит), ругает за то, что за 30 лет ничего не сделано?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 10:17 am 
Не в сети

Зарегистрирован: Вс сен 24, 2006 4:58 pm
Сообщений: 21
Programmer писал(а):
Кстати, Вам известны точные формулы вычисления критических значений статистик критериев Вилкоксона и критерия Манна-Уитни?


Там будет простое биномиальное распределение :) В той же книжке Тюрина это написано на 122 странице с примером расчета. Это если идеально точно соблюдаются все условия применимости. В реале же такого кайфа не получится. И дальше начинаются попытки гладкими графиками нормальных или других аппроксимаций заменить распределение с практически непредсказуемой последовательностью больших и малых ступенек.
По поводу сложности расчетов. Я, конечно, понимаю все трудности, но открою небольшой секрет - у меня есть одна маленькая формула, которая позволяет вычислять биномиальные коэффициенты с очень большой эффективностью без использования факториалов. Причем вычислять даже взвешенные (делить на степени десяти придется, т.к. тип данных Double позволяет считать треугольник Паскаля только до 1023 ряда). Применив некоторые программистские уловки, можно считать значительно дальше. Практически для всех реально использующихся размеров выборок. Для нечисловых шкал (порядковая и ниже) проблем, думаю не будет, т.к. там все можно свести к таблицам сопряженности. Для социологов, маркетологов, педагогов - это основная часть данных. А вот с другими шкалами придется повозиться. Основная засада - отсутствие информации по теме.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 10:25 am 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Проф.А.И.Орлов писал(а):
Как назвать деятельность лица. которое является на форум, посвященный мало ему знакомсой области науки, начинает вещать, чем надо заниматься (причем не может разъяснить, о чем говорит), ругает за то, что за 30 лет ничего не сделано?


Приношу извинения за беспокойство. Надеюсь, Вы найдете немало более приятных собеседников.

Максиму.
Спасибо. Это последнее мое сообщение.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 11:52 am 
Не в сети

Зарегистрирован: Вс сен 24, 2006 4:58 pm
Сообщений: 21
У меня предложение к профессору.
Чтобы попусту не спорить по пустякам, давайте сделаем простую вещь. У меня есть небольшая (11 страниц) статья в электронном виде двух немецких профессоров на английском. Там дано очень неплохое и понятное изложение упоминаемого мной подхода и дан интересный алгоритм для вычисления распределений многих критериев, в том числе и Вилкоксона. Я ее полгода назад скачивал из интернета (в открытом доступе), только забыл откуда.
Переведите ее на досуге и опубликуйте на сайте и в своем журнале со своей рецензией. Заодно и хорошо поймете о чем я говорю, а то я может быть что-то не так объяснил. А если сможете перевести алгоритм на Ваш любимый VBA, то программисты Вас не забудут. Вы же как один из ведущих специалистов должны быть заинтересованы в продвижении исследований в области "Высоких статистических технологий". Заодно и наши местные кулибины Вам спасибо скажут.
Если Вам это интересно, то вышлю статью на емайл.

Вот Вам кстати простое определение из википедии http://en.wikipedia.org/wiki/Resampling_(statistics)

A permutation test (also called a randomization test, re-randomization test, or an exact test) is a type of statistical significance test in which a reference distribution is obtained by calculating all possible values of the test statistic under rearrangements the labels on the observed data points. In other words, the method by which treatments are allocated to subjects in an experimental design is mirrored in the analysis of that design. If the labels are exchangeable under the null hypothesis, then the resulting tests yield exact significance levels. Confidence intervals can then be derived from the tests. The theory has evolved from the works of R.A. Fisher and E.J.G. Pitman in the 1930s.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 7:10 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Наивный Вы человек. Максим...
Что мне, делать больше нечего?
Вот если Вы переведете эту статью на русский, обещаю ее просмотреть.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 8:10 pm 
Не в сети

Зарегистрирован: Вс сен 24, 2006 4:58 pm
Сообщений: 21
Дык мне-то, в принципе, правильность подхода и так понятна.
Я думал Вам интересно будет...


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 10:56 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Есть более актуальные проблемы - см.:
Некоторые нерешенные вопросы в области математических методов исследования
http://orlovs.pp.ru/stat.php#s2p5


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 28, 2006 11:47 pm 
Не в сети

Зарегистрирован: Вс сен 24, 2006 4:58 pm
Сообщений: 21
Ладно, извините за беспокойство.
Не буду больше отвлекать.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Вопрос
СообщениеДобавлено: Вс ноя 26, 2006 1:35 pm 
Не в сети

Зарегистрирован: Вс ноя 26, 2006 1:27 pm
Сообщений: 1
Привет Всем!
Извините, а вы не подскажите, как по формуле рассчитать критические значения статистики Уилкоксона, когда значения выходят за границы значений таблицы? По какой формуле производится расчет? Заранее СПАСИБО БОЛЬШОЕ!!!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс ноя 26, 2006 2:08 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
О критерии Вилкоксона - учебник "Эконометрика" http://orlovs.pp.ru/
глава 4, раздел 4.5


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Вопрос
СообщениеДобавлено: Вс ноя 26, 2006 4:28 pm 
Не в сети

Зарегистрирован: Ср окт 04, 2006 10:05 am
Сообщений: 47
УБРАНО в знак несогласия


Последний раз редактировалось Игорь Пн апр 23, 2007 2:21 pm, всего редактировалось 1 раз.

Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс ноя 26, 2006 4:51 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Надо нчинать с формулировки вероятностно-статистической модели.
Критерий Вилкоксона - состоятельный (в том смысле, который вкладывается в этот термин в математической статистике) для проверки гипотезы
P{X<Y} = 1/2,
где распределение Х - как в первой выборке, У - во второй.
Эта гипотеза - промежуточная между однородностью характеристик и гипотезой абсолютной однородности (совпадения функций распределения).
Много глупостей понаписано про критерий Вилкоксона, в том числе в распространенных опусах (ссылки на ошибки см. в упомянутом выше учебнике).
Для проверки абсолютной однородности следует применять состоятельные критерии - Смирнова, типа омега-квадрат.
А критерий Вилкоксона пора выкидывать из преподавания. Зря я его вставил в учебники. Была под руками готовая статья - вот ее и вставил.
Думаю, что тогда, когда из-за недостатка ресурсов (времени или знаний) применяют критерий Вилкоксона, то вполне достаточно критические значения определять на основе асимптотической нормальности. А если объемы выборок меньше 10 - обоснованные выводы вообще невозможны.
Сформулированное только что утверждение было бы хорошо проверить численно - сравнить свойства точного и "асимптотического" правил принятия решений.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 16 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB