Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Чт мар 28, 2024 7:35 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 16 ] 
Автор Сообщение
 Заголовок сообщения: Оценка экспериментальных результатов
СообщениеДобавлено: Сб мар 26, 2011 5:05 pm 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
Здравствуйте.
Прочитал вашу книгу "Прикладная статистика" и не могли бы Вы помочь с некоторыми появившимися вопросами.
Раньше, когда происходили физические измерения, то результаты по критерию Шапиро-Уилка подходили к нормальному распределению и обработка результатов (промахи, однородность дисперсий и случайная погрешность с квантилем Стьюдента в виде Δ=t*s/корень(n)), то сейчас по критерию Шапиро-Уилка у 20 образцов при 40 измерениях параметра где-то половина образцов не являются нормальными.
Однородность, как я понял, нужно проверять критерием Уилкоксона, промахи непараметрическими ранговыми методами (объясните, если не сложно, как это выглядит). Как можно выразить случайную погрешность, ведь квантиль стьюдента для нормального распределения?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс мар 27, 2011 12:30 pm 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Нормальности на свете нет, проверка по критерию Шапиро-Уилка - видимость, поскольку по нескольким десяткам наблюдений нормальность установить достоверно нельзя.
Однородность надо проверять непараметрическими методами, с помощью критериев Вилкоксона, а лучше - состоятельных критериев Смирнова и Лемана-Розенблатта.
Выбросы надо обнаруживать не статистическими методами, а исходя из соображений предметной области.
Погрешность можно выразить межквартильным расстоянием - непараметрическим аналогом среднего квадратического отклонения.
((См. учебник: Орлов А.И. "Прикладная статистика")


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс мар 27, 2011 6:16 pm 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
Хотелось бы уточнить, есть критерии Смирнова и Лемана-Розенблатта для многих выборок, или критерий Смирнова и Л-Р только двувыборочный?
Многовыборочный критерий только в различных аппроксимациях критерия Вилкоксона-Манна-Уитни?
И если использовать двухвыборочный критерий, то, например, сначала сравнить две выборки, они оказались однородны, потом нужно из первой пары выборок одну выборку сравнить со следующей выборкой? И в итоге все 20 выборок окажутся между собой однородными? (просто порядок сравнения верен?)
Или просто все результаты ранжировать и поделить пополам на две выборки?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс мар 27, 2011 7:14 pm 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Есть непараметрический аналог дисперсионного анализа - критерии Краскела-Уоллиса (аналог однофакторного анализа), критерий Фридмана (аналог двухфакторного анализа) и др..


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн мар 28, 2011 3:14 am 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
Извините, что надоедаю, хотелось бы еще уточнить, вот по аппроксимации Краскела-Уоллиса у меня получилось расчетное значение F= - 15, Fкритическое(3,8; 110; 0,05)=2,47.

H0=F(x)=G(x), H1=разный закон распределения.

Модуль(F)>Fкрит, значит гипотеза однородности отклоняется на уровне значимости aльфа=0,05 или принимается с вероятностью 0,95?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн мар 28, 2011 8:44 am 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Традиционная формулировка теории принятия решений:
Цитата:
гипотеза однородности отклоняется на уровне значимости aльфа=0,05

Формулировка
Цитата:
принимается с вероятностью 0,95?
в этой теории не имеет смысла. Гипотеза либо принимается, либо отклоняется. Без каких-либо вероятностей. Уровень значимости используется при построении правила принятия решений - принять или отклонить.


Последний раз редактировалось Проф.А.И.Орлов Вт мар 29, 2011 8:41 am, всего редактировалось 1 раз.

Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт мар 29, 2011 12:52 am 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
И что можно сделать с отсутствием однородности? Нормирование результатов? А каким способом лучше?
Или просто говорить о непостоянстве условий эксперимента, измерения были очень сложные, впервые такие значения измеряли, различных образцов >18 штук, они все разные образцы, только относятся к одному виду материала, больше ничего нет общего. Логично, что каждый раз были различные функции распределения погрешностей.
При этом все медианы результатов каждого образцов ложатся на прямую с корелляцией в 97 %.
Медианы можно дальше аппроксимировать МНК в прямую?

Случайную погрешность можно выразить как (квартиль3 - квартиль1)/2 ? Получится медиана ± (квартиль3-квартиль1)/2 .


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср мар 30, 2011 9:26 pm 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Цитата:
И что можно сделать с отсутствием однородности? Нормирование результатов? А каким способом лучше?

Ответ зависит от того, что Вас интересует - какая прикладная задача решается.
Цитата:
При этом все медианы результатов каждого образцов ложатся на прямую с корелляцией в 97 %.
Медианы можно дальше аппроксимировать МНК в прямую?

Можно. Почти идеальная линейная зависимость - если нет выбросов, влекущих эту близкую к 1 корреляцию.
Цитата:
Случайную погрешность можно выразить как (квартиль3 - квартиль1)/2 ? Получится медиана ± (квартиль3-квартиль1)/2 .

Медиана не обязательно находится ровно посередине между квартилями. Луше приводить все три числа: квартиль 1, медиана (= квартиль 2), квартиль 3.[/b]


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн май 30, 2011 3:17 am 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
А грубые промахи можно оценивать непараметрической регрессией? Т. е. когда по х номера измерений, по у - результаты измерений и, если медиана всей необработанной выборки результатов измерений будет мало отличаться от медианы результатов непараметрического сглаживания, то можно говорить об отсутствии грубых промахов?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн май 30, 2011 10:13 am 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Если речь идет о регрессии, то естественно сравнивать исходные и восстановленные значения зависимой переменной при фиксированном значении независимой переменной. Асимптотическое распределение непараметрической ядерной оценки плотности выписано в моих учебниках. Значит, можно указать асимптотическое распределение оценки зависимой переменной (сам я этого не делал, но, помнится. была работа В,Д. Конакова в "Заводской лаборатории").
Если же непараметрическое распределение имеют погрешности, а оценивается линейная зависимость, как в моих учебниках, то асимптотическое распределение оценки зависимой переменной можно найти на основе интервальной оценки тренда и квантилей кажущихся остатков.И можно увидеть грубые промахи.
Но доказать нельзя. Вот у Вас распределение - 100 значений около 0 и одно - около 1000. Естественно предположить, что 1000 - это промах. Но с точки зрения статистики вполне может быть такое распределение - с двумя модами около 0 и около 1000. Только соображения предметной области позволяют значение 1000 объявить промахом.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн май 30, 2011 1:39 pm 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
Тогда просто указать неравенство Чебышёва и сказать, что промахи не обнаружены, про предметную область я не знаю, я впервые в данной области измеряю,со статистикой там совсем плохо, или простые параметрические оценки. Что же указать про промахи? Что не определялись или по неравенству Чебышёва для любых распределений? Т.к. по неравенству Чебышёва большой диапазон отбраковки, все значения далеко от него отстоят.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн май 30, 2011 2:32 pm 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Применяйте неравенство Чебышева - не ошибетесь.
А про предметную область сразу можно сказать - если нарушены условия измерения и при этом получилось резко выделяющееся значение, то лучше это значение отбросить.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт май 31, 2011 2:06 am 
Не в сети

Зарегистрирован: Сб мар 26, 2011 4:31 pm
Сообщений: 7
Можно в d=σ•(√n)/(√α) стандартное отклонение заменить на квартильный размах Q3-Q1 или лучше на среднее квартильное расстояние (Q3-Q1)/2 ?
С средним квартильным расстоянием получается более-менее нормальный диапазон отбраковки.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт май 31, 2011 10:38 am 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Практика - критерий истины.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re:
СообщениеДобавлено: Вт авг 28, 2012 11:23 am 
Не в сети

Зарегистрирован: Вт авг 28, 2012 10:12 am
Сообщений: 13
Проф.А.И.Орлов писал(а):
Нормальности на свете нет, проверка по критерию Шапиро-Уилка - видимость, поскольку по нескольким десяткам наблюдений нормальность установить достоверно нельзя.
Однородность надо проверять непараметрическими методами, с помощью критериев Вилкоксона, а лучше - состоятельных критериев Смирнова и Лемана-Розенблатта.
Выбросы надо обнаруживать не статистическими методами, а исходя из соображений предметной области.
Погрешность можно выразить межквартильным расстоянием - непараметрическим аналогом среднего квадратического отклонения.((См. учебник: Орлов А.И. "Прикладная статистика")

А есть ли конкретные доказательства, что распределения признаков не нормальны? И если нет нормальности, отклонения, то насколько это искажает выводы. Было бы очень интересно ознакомится с такими работами. Закон Ома тоже идеализация, но электротехника не собирается от него отказываться.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Оценка экспериментальных результатов
СообщениеДобавлено: Вт авг 28, 2012 12:40 pm 
В сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Читайте указанный учебник


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 16 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 65


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB