Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Сб апр 04, 2020 10:43 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 14 ] 
Автор Сообщение
 Заголовок сообщения: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 12, 2012 4:19 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 138
Откуда: Дивногорск
Имеются практически собранные данные на реально работающих электрических машинах. Экспериментальное распределение параметра нормальному распределению не принадлежит. Проверено по критерию коэффициента асимметрии. Отличие более чем на 4-ре стандартных отклонений. Какое теоретическое распределение подобрать? Кроме как из ряда Эджворта при удерживании только первых членов, образующих ряд Шарлье какие-то другие будут предложения? Асимметрия правая, имеется тяжёлый правый хвост в последнем интервале. Критерий хи-квадрат гипотезу о нормальности не подтверждает. Гистограмма прилагается. Спасибо.
Изображение


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 12, 2012 6:57 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Мысль о том, что надо подбирать какое-то теоретическое распределение, не соответствует современной парадигме математической статистики viewtopic.php?f=1&t=1376 (проще говоря, является антинаучной). Заранее известно, что распределение реальных данных не соответствует никакому заранее заданному распределению или распределению из какого-либо известного параметрического семейства.
Надо непараметрическими методами решать ту задачу, которую надо решать (характерно, что не сказано, с какой целью собраны и обработаны результаты измерений).
Гистограмму строить незачем, поскольку при этом теряется часть информации о данных. Строить стоит непараметрическую оценку плотности (см. наш учебник "Прикладная статистика").


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 12, 2012 8:10 pm 
Не в сети

Зарегистрирован: Ср апр 18, 2012 2:09 pm
Сообщений: 62
Ну на счет гистограммы я с уважаемым проф.Орловым не соглашусь. гистограмма вещь хорошая в любом случае, тем более все эти ядерные оценки не робастны как я понимаю, а гистограмма робастна. а по существу честно не знаю, что посоветовать. На рынке акций чттото схожее попадалось. там вообще получается скошенное распределение Стьюдента в экспоненте,както так


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 12, 2012 9:50 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Что понимаете под робастностью?
Или подробнее - почему заявляете, что
Цитата:
все эти ядерные оценки не робастны как я понимаю, а гистограмма робастна.

Интересно увидеть определение робастности, согласно которому ядерные оценки не робастны, а гистограмма робастна.

Если не знаете, что посоветовать, то зачем писать?
Вам же посоветую - оставьте в прошлом все конкретные распределения (поскольку они существуют только в головах, одурманенных предрассудками столетней давности) и используйте непараметрические методы.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 12, 2012 10:42 pm 
Не в сети

Зарегистрирован: Ср апр 18, 2012 2:09 pm
Сообщений: 62
Я вообще на ваших учебниках можно сказать статистику изучал, по-этому спорить с вами не могу, являясь профаном. Единственное, что я могу - интересоваться и задавать вопросы.
По поводу робастности я имел в виду – устойчивость к грубым промахам. Как я понимаю, грубые ошибки, промахи, выбросы - нивелируются группировкой, а ядерная оценка построена по всем точкам. Хотя, может, я и туплю. Ну, вроде, как это известно, что группировка «борется» с промахами. Вот тут мое недоумение – вы везде пишете, что не надо группировать исходную выборку, что теряется информация, это я усвоил. Но как быть с грубыми промахами, робастностью в этом смысле?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пн окт 15, 2012 3:21 pm 
Не в сети

Зарегистрирован: Чт мар 20, 2008 1:25 pm
Сообщений: 191
Откуда: Солнечная система
1. Имеется много постановок задач робастности (т.е. устойчивости статистических выводов). О них можно прочесть в моих учебниках в разделах про устойчивость. Другими словами, можно многими разными способами задать составляющие "общей схемы устойчивости".
2.
Цитата:
Устойчивость к грубым промахам
, т.е. модель засорения Тьюки-Хубера, популярна среди теоретиков. Для практики не очень важна, поскольку (1) все измерения лежат в пределах шкалы прибора, т.е. на ограниченном интервале; (2) вероятность засорения обычно неизвестна, а через нее выражается оптимальное правило обработки данных.
3. Ядерная оценка является
Цитата:
устойчивость к грубым промахам
, поскольку вклад каждого слагаемого по порядку один и тот же, независимо от величины результата измерения. В этом отличие от неустойчивой оценки - среднего арифметического.
4. Утверждение вроде
Цитата:
Ну, вроде, как это известно, что группировка «борется» с промахами
основано на том, что понятие "группировка" не уточняется.
А если уточнить, то выявляются два вида группировки по способу построения:
4.1. Взять интервал от минимума до максимума и поделить на равные интервалы, общее количество которых задано (например, формулой Стерджесса). Очевидна неустойчивость, поскольку минимум и максимум крайне неустойчивы в модели Тьюки-Хубера.
4.2. Выделить равные интервалы в заданных границах, проигнорировав все результаты наблюдений вне этих границ. Группировка устойчива, но столь же устойчива непараметрическая ядерная оценка плотности на том же интервале. Неясно,откуда взять "заданные границы".
5. В гистограмме бросаются в глаза разрывы непрерывности (скачки) при переходе от одного класса группировки к другому. Непараметрическая ядерная оценка плотности непрерывна, чем и привлекает.
6. Группировки и гистограммы - наследие прошлого, когда не было компьютеров, а потому для обработки данных приходилось предварительно их группировать. Сейчас данные хранят в базах данных, и промежуточное звено - группировки и гистограммы - не нужны.
7. Оценивание характеристик по гистограммам приводит к ошибкам, порожденным группированием данных. Для исправления этих ошибок используют поправки Шеппарда, но они - асимптотические (см. мой учебник "Статистические методы анализа данных").

Сказанное выше показывает, что вместо группировок и гистограмм целесообразно использовать непараметрические ядерные оценки плотности.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пн окт 15, 2012 3:43 pm 
Не в сети

Зарегистрирован: Ср апр 18, 2012 2:09 pm
Сообщений: 62
Большое спасибо! По-моему исчерпывающий ответ.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 26, 2012 12:04 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 138
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Надо непараметрическими методами решать ту задачу, которую надо решать (характерно, что не сказано, с какой целью собраны и обработаны результаты измерений).

Прошу прощения. Мне казалось что сама задача нахождения аппраксимации распределения это и является целью. Тогда теперь про совсем иную цель.
В мощных электрогенераторах тепло от активных элементов обмотки статора отводится водой, циркулирующей по полым проводникам стержней которые соединяются между собой при помощи патрубков, образуя группы последовательно соединённых стержней.
Каждая группа (гидравлическая ветвь) состоит из 4-х стержней, и все группы подключаются параллельно к напорному и сливному коллекторам. На последнем стержне гидравлической ветви установлены термометры сопротивления для контроля проходимости дистиллята через полые проводники стержней ветви. Таких точек измерения -276. В связи с множеством случайно влияющих на нагрев факторов температуру нагрева можно считать случайной величиной распределённой по какому-то закону. Для определения закона распределения этой случайной величины были проведены измерения на 10-ти генераторах и объёдинены в общую выборку.
Знание функции распределения температуры позволит определить максимальное
значение температуры стержня для бездефектного состояния ветви. Если наблюдаемая температура окажется выше предельного значения, следует искать причину не в случайности естественного разброса, а в появлении на самом деле влияющего фактора.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Пт окт 26, 2012 4:23 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Когда описана реальная задача, обсуждение становится конкретным.
В первом посте сказано:
Цитата:
Асимметрия правая, имеется тяжёлый правый хвост
.
В последнем посте сказано:
Цитата:
Если наблюдаемая температура окажется выше предельного значения, следует искать причину не в случайности естественного разброса, а в появлении на самом деле влияющего фактора.
.
Таким образом, интерес представляет "правый хвост", все остальные результаты наблюдений не важны.
Распространена мысль из последнего поста:
Цитата:
Знание функции распределения температуры позволит определить максимальное значение температуры стержня для бездефектного состояния ветви.
.
Откуда можно знать функцию распределения? А.Н. Колмогоров сформулировал систему аксиом, из которых вывел, что размеры частиц при дроблении вещества имеют логарифмическое распределение.
Система аксиом, согласно которой итоговый результат есть сумма однопорядковых независимых случайных величин, приводит к нормальному (гауссову) распределению, а система аксиом, согласно которой итоговый результат есть произведение однопорядковых независимых случайных величин, приводит к логарифмически нормальному распределению. И т.д.
Насколько понимаю, в случае, о писанном в последнем посте, подобной системы аксиом нет. Есть только выборка, ничего не известно про правый хвост. Правый хвост может быть любым.
В учебнике "Прикладная статистика" и других показана крайняя неустойчивость методов отбраковки выбросов по отношению к отклонениям функции распределения. Советую прочитать (первоначально это статья из журнала "Заводская лаборатория".
Можно принять, что максимальное значение температуры стержня для бездефектного состояния ветви - это максимальный член выборки.
Впрочем, есть научное направление "теория рекордов", об этом пишет проф. В.Б. Невзоров из СПбГУ (матмех, кафедра теории вероятностей).
Еще одно неясное место:
Цитата:
были проведены измерения на 10-ти генераторах и объединены в общую выборку.

Проверялась ли возможность объединения с помощью статистических критериев?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Сб окт 27, 2012 1:49 am 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 138
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Еще одно неясное место:
Цитата:
были проведены измерения на 10-ти генераторах и объединены в общую выборку.

Проверялась ли возможность объединения с помощью статистических критериев?

Нет. Объединялись нормированные значения (Xi-Xcр)/ско.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Сб окт 27, 2012 12:27 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 138
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Откуда можно знать функцию распределения?

Экспериментальную только по результатам наблюдения за случайной величиной. Теоретическую после аппроксимации экспериментальной функции гипотетической в случае неопровержения гипотезы о принадлежности экспериментальной функции к гипотетической.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Сб окт 27, 2012 12:34 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
При проверке гипотезы о том, соответствуют ли экспериментальные данные определенной теоретической функции распределения, положительный ответ "соответствует" будет дан для бесконечно большого числа теоретических функций распределения. Для всех теоретических функций распределения, отстоящих от эмпирической функции распределения не более чем на определенное расстояние (конкретный вид расстояния зависит от того, какой именно критерий используется для проверки гипотезы). И среди этих теоретических функций распределения будут функции с самыми разными "правыми хвостами".


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Сб окт 27, 2012 12:41 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 138
Откуда: Дивногорск
В любом случае я не очень сильно ошибусь.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Подобрать теор. распределение СВ к экспериментальному.
СообщениеДобавлено: Сб окт 27, 2012 3:47 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8821
Хвосты распределений (значения функций распределений) могут различаться на много (на сколько угодно) порядков.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 14 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB