Высокие статистические технологии

Добрый день, Александр Иванович. Спасибо вам за книги, которые навели порядок в моем мозге, а то раньше была статистическая солянка.

Вопрос у меня следующий. Есть группированные данные, просто задана гистограмма. По этим данным мы оцениваем среднее, дисперсию. У меня возникает трудность в понимании того, как корректно написать доверительный интервал для среднего с учетом размера бина гистограммы, т.е. с учетом систематической ошибки канала гистограммы.

1. Как следует из Статистики интервальных данных, которую вы приводите в книге, следует указать интервал увеличенный в каждую сторону на h/2. То есть обычный интервал увеличенный на две нотны, доверительная вероятность остается такая же как в обычном случае без метрологической ошибки.
2. Но разве не корректно произвести сложение в данном случае равномерного распределения внутри канала гистограммы и нормального для оценки среднего и написать доверительный интервал для такого смешанного распределения? во многих пособиях по обработке данных советуют суммировать дисперсии этих распределений.
3. И окончательно меня запутывает, то что написано в книге Новицкий П. В., Зограф И. А. Оценка погрешностей измерений - стр. 161. Там приводится пример как записывать доверительный интервал и вообще как суммировать систематическую погрешность и случайную.
"Но при θ>0.66*sigma выход погрешности за границы ±(θ+t*sigma) будет происходить даже для распределения Лапласа практически только с одной стороны, т.е. напрмиер , при оценке случайной составляющей с Pд=0,9 доверительная вероятность выхода за границы ±(θ+t*sigma) будет иметь Pд=0.95". Это написано для случая постоянной систематической ошибки θ.

Разъясните пожалуйста, как же все-таки суммировать систематическую и случайную ошибку, когда применять статистику интервальных данных, и как записать корректно доверительный интервал для среднего по гистограмме?

Статистика интервальных данных исходит из модели, согласно которой (несколько упрощая) каждый элемент выборки - это интервал заданной длины со случайным центром. Никакой гистограммы нет.
Оценивание по гистограмме - это оценивание по сгруппированным данным. Надо применять поправки Шеппарда.
О них - в книге "Статистические методы анализа данных" http://ibm.bmstu.ru/nil/biblio.html#books-03-hsstatan , глава 3, раздел 3.5 (последний).
Анализировать текст книги: Новицкий П. В., Зограф И. А. Оценка погрешностей измерений - нет времени.

1. Спасибо за ответ. Буду разбираться. Просто плохо понимаю различие статистики интервальных данных и статистики группированных данных. Хотя прочитал вашу главу "Интервальные данные в задачах оценивания параметров (на примере гамма-распределения)" - очень познавательно! Жалко, что методы интервальных данных мало где описаны и нет их в мат. пакетах. Было бы здорово, например, строить регрессии с уже заданными погрешностями по аргументу, к сожалению программные пакеты этого не позволяют. Вот и приходится строить регрессию, при этом понимая, что ошибка в аргументах не учитывается корректно.

2. Если позволите еще несколько вопросов. Есть формула Чебышева для любого распределения, а вот в справочнике Корна я обнаружил такую формулу для одномодальных распределений, и для симметричных - эти формулы сильнее:

P(μ-kσ<X<μ+kσ)≥1-4/(9k^2 ) - для симметричного одномодального распределения

Можно ли применять эту формулу на практике для грубой оценки например или для отбраковки? Ведь часто приходится иметь дело именно с ошибкой именно симметричной.

3. И такой глупый вопрос - вот есть состоятельные оценки, а есть сильносостоятельные - типа среднего арифметического для мат. ожидания. Почему везде в статистике достаточным считается состоятельность оценки? И вообще это на что-то влияет - "сильносостоятельна" или просто "состоятельна"?

1. Статистике интервальных данных посвящены главы в наших учебниках "Прикладная статистика", "Теория принятия решений". " Нечисловая статистика".

Наши Интернет-ресурсы: сайты с книгами и статьями в открытом доступе:
«Высокие статистические технологии» http://orlovs.pp.ru/ ,
«Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана» http://ibm.bmstu.ru/nil/biblio.html ,
еженедельник «Эконометрика» http://subscribe.ru/catalog/science.hum ... onometrika
Конкретные вопросы, связанные с нашей деятельностью, можно обсудить на форуме http://forum.orlovs.pp.ru/
Персональная страница на сайте МГТУ им.Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/
Википедия: http://ru.wikipedia.org/ статья «Орлов, Александр Иванович (учёный)»

2. Если доказано, что

P(μ-kσ<X<μ+kσ)≥1-4/(9k^2 ) - для симметричного одномодального распределения

то, конечно, можно пользоваться этим неравенством. Вспоминается, впрочем, что неравенство Чебышева нельзя улучшить. Надо посмотреть в книге "Математика случая".

3. Я не знаю, что такое "сильносостоятельные оценки". Кто использует этот термин и в каком смысле?

Спасибо. сильносостлятельные это те которые сходятся при увеличении выборки почти наверное, а состоятельные по вероятности. среднее арифм в силу усиленного закона больших чисел сходится почти наверное

Думаю, дело в том, что при сходимости по вероятности речь идет о вероятностях, а их можно оценить по результатам наблюдений.
Сходимость почти наверное по результатам наблюдений не удается оценить, т.е. это - чисто математическое понятие.
Для любителей доказывать теоремы сходимость почти наверное - поле для демонстрации своей математической техники, но для анализа реальных данных понятие "сходимость почти наверное" ничего не дает.
Хотел бы познакомиться с возражениями, если они есть.

Здравствуйте!
Я честно говоря думаю так же как вы. Однако! Читаю классику и встречаю следующее:

"Нередко из теоремы Бернулли делают совершенно необоснованный вывод, что частота события A при безграничном увеличении числа испытаний стремится к вероятности события A. На самом же деле теорема Бернулли устанавливает только тот факт, что для достаточно большого числа испытаний n вероятность одного единственного неравенства:
|μ/n-p|<ε может быть сделана сколь угодно близкой к единице...
...
Принципиальная роль усиленного закона больших чисел в теории вероятностей и в ее приложениях весьма велика. Действительно, предположим на минуту, что скажем в случае одинаково распределённых слагаемых, имеющих конечное математическое ожидание, усиленный закон не имеет места. Тогда с вероятностью, сколь угодно близкой к единице, можно утверждать, что будут повторяться моменты, когда средняя арифметическая результатов наблюдений будет далека от математического ожидания. И это бы случалось даже в тех случаях, когда наблюдения производятся без систематической ошибки и полной определённостью. Можно ли было бы в таких условиях считать, что среднее арифметическое из результатов наблюдений сближается с изменяемой величиной, могли ли бы мы в этих условиях считать, что среднее арифметическое можно считать за приближенное значение измеряемой величины? Сомнительно." Гнеденко. Курс теории вероятностей.

Честно говоря как ни пытался понять, что такое сходимость "почти наверное" и тому подобное "в среднем квадратичном", понять в чем различие так и не смог.

2. Если можно еще один вопрос.

Вот у нас есть точечные оценки. А так же у нас есть доверительные интервалы.

Обычно на практике вместе с точечной оценкой параметра строят доверительный интервал, середина которого равна этой оценке. Его ширина является наглядной характеристикой того, насколько точна может быть данная точечная оценка.

Но иногда бывает наоборот: строится некоторый доверительный интервал, а в качестве точечной оценки параметра рассматривают его середину. Например, доверительный интервал для центра распределения - можно взять размах выборки, тогда для разных n мы точно будем знать P.
Все-таки, метод точечной оценки и оценки доверительным интервалом связаны или нет?

1. Вот теперь я понимаю, почему член-корр. АН СССР Л.Н. Большев публично заявлял. что в учебнике Б.Г. Гнеденко имеются ошибки.
Действительно, для констатации того, что имеет быть сходимость почти наверное, надо рассматривать всю бесконечную последовательность результатов наблюдений сразу, одновременно. С прикладной точки зрения это бессмысленно.
Понятия "сходимость почти наверное" и "в среднем квадратическом" - это понятия из функционального анализа, теории меры и интеграла Лебега, перенесенные в теорию вероятностей при ее аксиоматизации А.Н. Колмогоровым в 30-е годы ХХ в. Вот Б.В. Гнеденко и попытался осмыслить "сходимость почти наверное" в математической статистике. Не получилось.
2 Понятия "точечная оценка параметра" и "доверительный интервал (доверительная область)" на уровне определений не связаны между собой (см. определения в "Математике случая" = "Вероятность и прикладная статистика. Основные факты" http://ibm.bmstu.ru/nil/biblio.html#books-01-verstat . Однако удобно строить доверительный интервал, исходя из его середины - оценки параметра. Хотя бывают и несимметричные доверительные интервалы. Например. есть постановки, в которых строят доверительный интервал наименьщей длины.
Полусумма минимума и максимума выборки - оценка центра распределения, только плохая - с ростом объема выборки растет ее дисперсия (как правило).

Здравствуйте. Спасибо за ссылки - действительно очень полезные книги у вас. Все по полочкам. Во многом смог разобраться.

1. Но я все к своим баранам про группировку данных. Никак не могу найти ответ на вопрос про доверительный интервал для группированных данных. Поправки Шеппарда это я все понял, а вот как записать доверителный интервал с учетом систематической ошибки так и не могу понять...

к примеру, размер канала гистограммы - 2
по гистограмме посчитали следующее Xср.=0,027; σср.=0,115; поправка Шеппарда незначительна.
вот теперь без учета систематической ошибки у нас доверительный интервал для среднего классический просто:
X=0,027±1,65*0,115 для Pд.=0,9;
А как теперь учесть группировку в доверительном интервале?

Вот я что-то типа такого записал:
X=0,027±(1+1,65*0,115) для Pд.=0,95;
Есть вариант еще записать:
X=0,027±(1+1,65*0,115) для Pд.=0,9;
Подскажите как корректно записать результат? Какую доверительную вероятность писать?

2. И второй вопрос если позволите, про восстановление плотности распределения. Все-таки для практика стоит ли применять что-то кроме гистограмм? Стоит ли применять ядерные методы типа Розенблата-Парзена и что-то подобное, есть какие-то проекционные методы... Или для практика (инженер;)) гистограмм достаточно? Разобраться в теории тут очень непросто, но хотелось бы понять действительно ли в этих методах есть какое-то реальное преимущество перед классической гистограммой)

Проекционные оценки Н.Н.Ченцова

Добавим и оценки типа Фикс-Ходжеса.

Кстати говоря по поводу усиленного Чебышева ("неравенство Гаусса") нашел вот что, правда доказательств найти не смог

http://mathworld.wolfram.com/GausssInequality.html
http://en.wikipedia.org/wiki/Gauss%27s_inequality
Поэтому думаю можно смело применять!

Гаусс жил задолго до Чебышева, поэтому название странное.
Википедии верить нельзя.
Нужны доказательства.
Без доказательств применять рискованно. В Википедии могли пропустить важные предположения (условия).

Сейчас ищу доказат. а про доверительный интервал ответите оч нужно.

1. Доказательство нашел там же в вики ссылка. Вроде это доказательство.
http://www.jstor.org/discover/10.2307/2 ... 6102577423
http://www.stat.purdue.edu/research/tec ... r94-17.pdf
http://dic.academic.ru/dic.nsf/enc_math ... 0%92%D0%90
http://files.ele-math.com/articles/jmi-05-18.pdf
последняя ссылка кажется объясняет при чем тут Гаусс! он про интеграл доказывал, а не про вероятности!

Жду ваших комментариев. Ведь на практике погрешности как правило носят симметричный характер.
Например, доходность акций - не нормальное распределение, но очень симметричное.


2. Так же надеюсь, что ответите на вопросы выше.
Просто я мыслю так - для группированных данных все оценки исходных параметров распределения при n->inf смещены относительно истинных значений исходного распределения. Для моментов начиная со 2-го поправки Шеппарда при определенных условиях на функцию распределения дают эти смещения устранить. Но ведь первый момент среднее по группированным данным ведь тоже смещено, но смещение это зависит от группировки и от распределения, так ведь? И лежит это смещение в интервале [-h,h]. Таким образом, нам же как-то это надо учесть в доверительном интервале для среднего? В любом случае при n->inf этот интервал не может быть меньше [Xср-h,Xср+h]. Правильно я мыслю?

1. Обобщения неравенства Чебышёва заслуживают широкого обсуждения.
Например, напишите статью для журнала "Заводская лаборатория".
В симметричность реальных распределений я не верю. Хотя есть в моих книгах ряд критериев для проверки симметрии распределения относительно 0.

2. Поправка Шеппарда для математического ожидания равна 0. Поскольку вся вероятность с отрезка сосредотачивается в его центре, происходит взаимное погашение погрешностей. Получается. что в доверительном интервале не надо учитывать группировку.
В статистике интервальных данных другая ситуация - там возможен сдвиг всех результатов наблюдений на величину абсолютной погрешности. Нет взаимного погашения погрешностей поэтому довертелный интервал расширяется влево и вправо на нотну.

1. Спасибо за комментарий! Все ясно. Статью в ваш журнал я не потяну конечно, но в Википедию напишу)))
2. Только один вопрос остался. Если поправка Шеппарда = 0 для среднего и не надо увеличивать интервал доверительный, значит ли это что среднее по группированным данным сходится при n->inf к истинному среднему? То есть выходит среднее по группированным данным состоятельная оценка истинного среднего? Вот этого я так и не могу осознать...

В теории статистического анализа сгруппированных данных предполагается, что длина интервала группировки стремится к 0. А потому при двойном предельном переходе
"среднее по группированным данным сходится при n->inf к истинному среднему"

А где можно почитать про размер верхней оценки смещения среднего при различных sigma/h. То есть я так понял при sigma/h->inf смещение оценки мат. ожидания быстро сходится к 0. А где можно посмотреть точные формулы?

Я читал "Математические методы статистики" Г.Крамера.
См. также:
Орловский И.В., Орлов А.И. О поправках на группировку. – В сб.: Прикладной многомерный статистический анализ. Ученые записки по статистике, т.33. - М.: Наука, 1978. С.339-342.