Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Сб дек 04, 2021 11:59 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 12 ] 
Автор Сообщение
 Заголовок сообщения: Монте-Карло и бутстреп
СообщениеДобавлено: Вс фев 14, 2010 7:18 pm 
Не в сети

Зарегистрирован: Пн авг 24, 2009 9:25 pm
Сообщений: 13
Здравствуйте, не могли ли бы мне подсказать программу , с помощью которой можно реализовать метод Монте-Карло и бутстреп? Заранее благодарен.
И еще, а не думали ли вы написать книгу по многомерному статистическому анализу? А то выбор на русском не очень, кроме Кэндалла/Стюарта, Андерсона и Айвазяна нечего выбрать. Первые 2 староваты, а у Айвазяна не слишком удачно получилось.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс фев 14, 2010 7:44 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9904
Датчики псевдослучайных чисел обычно включают в любой пакет. С их помощью можно реализовать метод Монте-Карло и бутстреп.
По многомерному статистическому анализу есть глава в моей "Прикладной статистике". И из нее видно, что многомерный статистический анализ, т.е. набор методов анализа данных, представленных в виде векторов, представляет собой совокупность мало связанных друг с другом разделов.
Есть регрессионный анализ и теория классификации, которые естественно рассматривать в общем виде в рамках нечисловой статистики. Есть многомерное шкалирование - набор разнообразных приемов, которые также примыкают к нечисловой статистике. Отдельно - коэффициенты корреляции. Отдельно - дисперсионный анализ, который опирается на разложение диспесий Фишера, связанное с многомерной нормальностью, которой на самом деле в реальных задачах нет. Правда есть и непараметрический аналог. Отдельно - индексы.
Регрессионный анализ и теория классификации - огромные области, заслуживающие даже не книг, а серий.
По каждой из выделенных областей есть монографии. Даже про ранговые корреляции Кендалл целую книгу написал.
Сочинение по многомерному статистическому анализу было бы книгой промежуточного уровня - между общими учебниками типа моей "Прикладной статистики" (или "Нечисловой статистики") и книгами по конкретной тематике, например, по теории классификации. Читатель не вполне ясен. Если бы была налажена подготовка студентов по прикоадной статистике и я бы читал им курс многомерного статистического анализа, то, наверно, подготовил бы и учебник. Его можно было бы во многом собрать из кусков уже выпущенных учебников - главу по МНК, главу про индекс инфляции и др.
Но пока таких планов нет. За свою жизнь выпустил больше сорока книг, пусть пишут другие.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср фев 17, 2010 12:06 pm 
Не в сети

Зарегистрирован: Пн авг 24, 2009 9:25 pm
Сообщений: 13
Александр Иванович ,а не могли бы вы мне еще подсказать по одной проблеме. В многомерной статистике используется матричное дифференцирование. А вот что стоит почитать по поводу матричного дифференцирования, чтобы понять смысл?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср фев 17, 2010 12:41 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9904
См., например, http://www.synergy-gis.com/lib/lesnykh_2/1_7.html


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб фев 20, 2010 9:39 am 
Не в сети

Зарегистрирован: Пн авг 24, 2009 9:25 pm
Сообщений: 13
Спасибо большое вам, а не могли бы вы мне подсказать еще немного. Вот как можно аппроксимировать эмпирическое многомерное распределения? обычно используется многомерное нормальное, в котором мы оцениваем ковариационную матрицу и матожидание. Но ведь в таком случае возможности аппроксимации очень ограничены.

И еще ,можно ли по 2(и более) частным распределениям восстановить их совместное распределение, при условии, что они не независимы? или вообще, можно ли восстановить совместное распределение таким образом ,чтобы можно было их покомпонентно аппроксимировать. Ну вот ,скажем, если случайные величины независимы, то их совместное распределение получается через умножение. Т.е. их можно поодиночке аппроксимировать ,а потом получить некоторое многомерное распределение умножением. Больше возможностей для аппроксимации. А вот нечто подобное можно совершить не с независимыми случайными величинами?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб фев 20, 2010 8:48 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9904
Цитата:
Вот как можно аппроксимировать эмпирическое многомерное распределения?

С помощью непараметрических оценок плотности. В отличие от одномерного случая, никаких естественных семейств, кроме нормального и равномерного, в многомерном случае не применяют. А сами эти семейства, как и в одномерном случае, не обоснованы.

Цитата:
И еще ,можно ли по 2(и более) частным распределениям восстановить их совместное распределение, при условии, что они не независимы? или вообще, можно ли восстановить совместное распределение таким образом ,чтобы можно было их покомпонентно аппроксимировать. Ну вот ,скажем, если случайные величины независимы, то их совместное распределение получается через умножение. Т.е. их можно поодиночке аппроксимировать ,а потом получить некоторое многомерное распределение умножением. Больше возможностей для аппроксимации. А вот нечто подобное можно совершить не с независимыми случайными величинами?

Хороших описаний многомерных векторов с зависимыми координатами я не знаю.
Конечно, в конкретных задачах могут пригодиться какие-либо специальные модели. Например, если сумма всех координат фиксирована, то все координаты, кроме последней, можно считать независимыми, а последняя выражается через них однозначно.
Или: распределение суммы независимых случайных векторов при росте числа слагаемых сходится к многомерному нормальному (после соответствующей нормировки и при условии, что каждое слагаемое бесконечно мало по сравнению с суммой).


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт апр 20, 2010 10:14 am 
Не в сети

Зарегистрирован: Пн авг 24, 2009 9:25 pm
Сообщений: 13
Александр Иванович, не могли бы вы мне помочь в 2 вопросах.
1. вот у меня проблема с построением доверительного интервала (точнее области) для векторного параметра. вот пусть я доверительную область пытаюсь смоделировать с помощью бутстрепа. вот в случае одной компоненты при определенном уровне значимости я мог найти нижние и верхние границы, в которых заключалась оценка. Можно было все легко интерпретировать(от сих до сих варьируется). А вот в случае векторного параметра. вот я хочу 97 процентный доверительный интервал. вот мне эти 3 процента каким образом для отбраковки выбрать?.
У меня была мысль взять вектор матожиданий, а потом посмотреть евклидово расстояние от него до каждого вектора из новой выборки. Ну и получить так самые крайние значения, которые и должны будут составлять примерно 3 процента
2. вот по поводу бутстрепа. Есть ли что почитать по нему ,но более-менее современное. может, советы какие ,как лучше бутстрепировать и т.д.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт апр 20, 2010 3:08 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9904
1.
Цитата:
1. вот у меня проблема с построением доверительного интервала (точнее области) для векторного параметра. вот пусть я доверительную область пытаюсь смоделировать с помощью бутстрепа. вот в случае одной компоненты при определенном уровне значимости я мог найти нижние и верхние границы, в которых заключалась оценка. Можно было все легко интерпретировать(от сих до сих варьируется). А вот в случае векторного параметра. вот я хочу 97 процентный доверительный интервал. вот мне эти 3 процента каким образом для отбраковки выбрать?.

Выбор доверительной области - на Ваше усмотрение. Иногда помогают соображения из прикладной сферы, для которой работаете.

2.
Цитата:
меня была мысль взять вектор матожиданий, а потом посмотреть евклидово расстояние от него до каждого вектора из новой выборки. Ну и получить так самые крайние значения, которые и должны будут составлять примерно 3 процента

Лучше брать расстояние Махаланобиса, чтобы оставался эллипсоид рассеивания.

3.
Цитата:
вот по поводу бутстрепа. Есть ли что почитать по нему ,но более-менее современное. может, советы какие ,как лучше бутстрепировать и т.д.
Нового не добавлю. Добавлю классику. См., например:
Ермаков С.М. Метод Монте-Карло и смежные вопросы. - М.: Наука, 1975.
Ермаков С.М., Михайлов Г.А. Курс статистического моделирования. - М.: Наука, 1976.
Ермаков С.М., Михайлов Г.А. Статистическое моделирование. - М.: Наука, 1982.
Иванова И.М. Случайные числа и их применения. - М.: Финансы и статистика, 1984.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт апр 20, 2010 6:05 pm 
Не в сети

Зарегистрирован: Пн авг 24, 2009 9:25 pm
Сообщений: 13
а будет ли ошибкой, если построить доверительные интервалы с н вероятностью для каждой компоненты вектора, а потом просто взять нижние границы для каждого вектора, верхние? Будет ли искажение выводов из-за этого?
и могли бы вы мне подсказать, что стоит почитать. а то обычно параметры одномерные, с векторными и упоминаний-то мало.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт апр 20, 2010 7:42 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9904
Упоминаний мало, потому что не ясно, как доверительную область определять.
Напрашивается взять доверительные границы отдельно по координатам, но тогда не ясно, какова доверительная ероятность - ведь координаты обычно зависимые случайные величины.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн май 10, 2010 3:49 pm 
Не в сети

Зарегистрирован: Пн авг 24, 2009 9:25 pm
Сообщений: 13
Александр Иванович, здравствуйте еще раз. вот у меня тут возникли 2 вопроса.
1.Если ,скажем, у меня имеются несколько ММП оценок для некоторого параметра. Как выбрать наилучшую? Предположим, в случае регрессии. Попробовать считать без пары наблюдений, чтобы потом проверить с помощью них, какой коэффициент лучше? (сравнить квадрат ошибки). Или как-нибудь бутстрапом смоделировать выборку, чтобы по ней сделать также.
2. Если есть аздача минимизировать какую-нибудь сложную функцию, для которой минимумы сложно аналитически подобрать, то каким алгоритмом лучше минимизировать? Градиентным спуском или лучше что-нибудь еще?
И вот по градиентному спуску. Правильно ли делать следующее? корни для уравнения получим, подбирая значения параметров так, чтобы градиент равнялся нулю. А потом гессианом просто оценим ,минимум ли это, или максимум. или так нельзя делать?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср май 12, 2010 9:42 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9904
Цитата:
1.Если ,скажем, у меня имеются несколько ММП оценок для некоторого параметра. Как выбрать наилучшую?

Как это может быть? Плотность одна, и оценка максимального правдоподобия (ОМП) может быть только одна.
Можно использовать другие оценки. Одношаговые оценки лучше ОМП.
Цитата:
Если есть аздача минимизировать какую-нибудь сложную функцию, для которой минимумы сложно аналитически подобрать, то каким алгоритмом лучше минимизировать?
Методы минимимзации - большая наука. Читайте литературу. Можно применять методы экстремального планирования эксперимента, или случайного поиска, и т.д., и т.п.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 11


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB