Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Вт авг 04, 2020 3:13 am

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 10 ] 
Автор Сообщение
 Заголовок сообщения: Стоит ли изучать западную эконометрику?
СообщениеДобавлено: Пн янв 28, 2008 7:33 pm 
Не в сети

Зарегистрирован: Чт янв 24, 2008 1:59 pm
Сообщений: 6
Для разнообразия мнений на этом сайте, мне бы хотелось порекомендовать посетителям ознакомиться с западными учебниками по эконометрике (или выполнеными по западному образцу), которые находятся по адресу http://slil.ru/25411357 По-моему мнению, у эконометрики должен быть именно такой математический уровень строгости и четкость изложения. А Вы как считаете?


Последний раз редактировалось Victor Пн янв 28, 2008 11:34 pm, всего редактировалось 1 раз.

Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн янв 28, 2008 8:58 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8986
По приведенному адресу ничего скачать не удается.

Да и пытаться не стоит. Лучше прочитать "Эконометрику" http://orlovs.pp.ru/econ.php#ek1


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн янв 28, 2008 11:39 pm 
Не в сети

Зарегистрирован: Чт янв 24, 2008 1:59 pm
Сообщений: 6
Я изменил адрес, сейчас скачивается без проблем. Мне кажется, некоторые темы оттуда могли бы расширить тематику Ваших книг. Также интересно, какие, по вашему мнению, важные темы там остаются неохваченными.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт янв 29, 2008 11:25 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8986
Из шести приведенных по указанному адресу книг четыре - это опусы Катышева-Магнуса-Пересецкого и Анатольева, и по объему - 2/3 на эти опусы приходится.
Во всех этих опусах охват эконометрических методов, нужных для практической работы экономиста и менеджера, не превышает 5%.
То, что нужно таким работникам, хорошо видно по оглавлению нашего учебника "Эконометрика" http://orlovs.pp.ru/econ.php#ek1.
Опусы засорены тем, что не нужно - различными извращениями МНК.
Отрицательная оценка подобных опусов становится все более распространенной. Вот что пишет мне зав. каф. ГУ-ВШЭ 03-01-2008:

Цитата:
Что ж, надо изгонять троянских коней. Может быть, Вы мне поможете грамотнее разобраться еще с одним элементом троянской технологии. Речь идет об использовании т.н. dummy переменных. Таковыми называются переменные, приписываемые отдельным градациям номинального признака. Скажем, если у нас есть признак "профессия" с тремя градациями - токарь, пекарь, лекарь, то мы искусственно вводим три новых дихотомических признака: "токарный", равный 1,если человек токарь, и 0, если не токарь, "пекарный" и "лекарный". И эти три признака засовываем в любой классический статистический анализ, чаще всего - регрессионный. Интерпретация - кошмарная (обычная, числовая, как положено для регрессионного анализа, т.е. абсолютно не подходящая для рассматриваемой ситуации). Засилье такого подхода огромно. Вышкинские пропагандисты эконометрики катят огромный вал на наших студентов. Надо написать что-нибудь серьезное по этому поводу.


А вот что я ей ответил:
Цитата:
Об использовании т.н. dummy переменных

1. Исходная идея вполне естественна. Есть вектора разнотипных данных – часть переменных измерена в количественных шкалах, часть в качественных (простейший вариант – номинальные признаки). И есть стандартный статистический пакет. Как обработать данные? Представить их в квазиколичественном виде. Если перенумеровать все возможные значения номинальной переменной (например, профессии), то данные будут выглядеть неестественно (в частности, расстояния между значениями номинальной переменной не будут иметь содержательного смысла).
Неестественность затушевывается при использовании т.н. dummy переменных. Таковыми называются переменные, приписываемые отдельным градациям номинального признака. Скажем, если у нас есть признак "профессия" с тремя градациями - токарь, пекарь, лекарь, то мы искусственно вводим три новых дихотомических признака: "токарный", равный 1, если человек токарь, и 0, если не токарь. Аналогично вводим признаки "пекарный" и "лекарный".

2. Получив искусственную матрицу данных, можно ее обрабатывать с помощью различных алгоритмов. Как интерпретировать результаты обработки? Ответ зависит от того, какая принята модель порождения данных.
К сожалению, в настоящее время пользователи обычно и не подозревают, что интерпретация результатов расчетов зачастую сильно зависит от принятой модели порождения данных.
Например, под регрессионным анализом понимают совокупность методов, основанных на использовании нескольких принципиально различных моделей. Во всех них исходные данные – это набор пар (x(i), y(i)), i = 1,2,…,n. Наиболее популярны две модели – модель детерминированного предиктора и модель случайного вектора. Есть еще модель конфлюентного анализа, ряд моделей в рамках статистики интервальных данных и т.д.

3. В модели детерминированного предиктора x(i), i = 1,2,…,n, - детерминированы. Случайность содержится только в y(i), i = 1,2,…,n, обычно в виде случайных погрешностей измерения. В этой модели значения предиктора x(i), i = 1,2,…,n, могут иметь любую природу, количественную или качественную. В том числе вполне возможно использование dummy переменных. В нечисловой статистике (Орлов А.И. Нечисловая статистика http://orlovs.pp.ru/stat.php#k2 ) доказаны теоремы о состоятельности оценок в рассматриваемой задаче аппроксимации зависимости параметрическим семейством возможных функциональных зависимостей (см. формулировки в указанном источнике).
В модели детерминированного предиктора есть «нюансы». Например, коэффициент детерминации нельзя рассматривать как квадрат коэффициента корреляции, поскольку не определено само понятие корреляции между детерминированной величиной (функцией от предиктора) и случайным откликом.

4. В модели случайного вектора пары (x(i), y(i)), i = 1,2,…,n, - это независимые одинаково распределенные случайные вектора. Теория развита лишь для весьма частного случая, когда это общее распределение – многомерное нормальное. Ясно, что dummy переменные не могут иметь нормальное распределение.

5. Если алгоритм использует квантили распределения Стьюдента – значит, он основан на предположении нормальности распределения отклика, фактора или пары фактор-отклик. Реальные данные, как правило, ненормальны (конечно, лучше сказать – негауссовы) – см. раздел 4.1 в учебнике А.И. Орлова «Эконометрика» http://orlovs.pp.ru/econ.php#ek1). Использование модели нормального распределения – это поведение человека, который ищет ключи под фонарем, где светлее, хотя знает, что потерял их в кустах, где темно.

6. Но, может быть, он все-таки найдет ключи? Каково влияние отклонений от нормальности (в частности, использование dummy переменных) на достоверность выводов? Это – интересная сфера исследования (глава 4 в том же учебнике).
К сожалению, изучение (для меня лично) свойств оценок метода наименьших квадратов в непараметрической постановке только начато (раздел 5.1 в учебнике А.И. Орлова «Эконометрика» http://orlovs.pp.ru/econ.php#ek1 ). Возможно, всё уже исследовано, но я не знаю сейчас об этом.

7. Использование dummy переменных в линейном регрессионном анализе натыкается на возражение другого типа – не в рамках прикладной статистики, а в рамках организационно-экономического (или, в старых терминах, математического) моделирования. Зависимости для разных профессиональных групп отличаются только свободными членами, а наклон одинаков (точнее, одинаковы коэффициенты при линейных членах). Свободные члены оцениваются как коэффициенты при dummy переменных, и только на них эти переменные влияют.
Почему же наклон одинаков? Возможно, иногда есть этому объяснение, но в общем случае обоснования нет.

8. Как-то обратились ко мне с вопросом по поводу использования dummy переменных в регрессии, когда возраст автомобиля рассматривался как номинальный признак. Вопрошающий разбил значения возраста на интервалы и каждому интервалу поставил в соответствие dummy переменную.
Такую постановку задачи я расценил как крайне странную. Но она показывает, насколько распространилась пропаганда dummy переменных.

9. Большинство книг по эконометрике на русском языке относится в двум группам – вредным и очень вредным.
Вредные – это перепев устаревших западных учебников, посвященных крайне узкой тематике вокруг МНК и модели нормального распределения. Но изложение в них хотя бы соответствует требованиям математической строгости.
Очень вредные – те, в которых нет и следа математической строгости. Обычно они написаны экономистами, которые ничего в математике не понимают. К сожалению, к ним относятся и сочинения, выпущенные чл.-корр. РАН И.И. Елисеевой, например:
Практикум по эконометрике / И.И. Елисеева и др. Под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2001. – Рецензенты: каф. матем. статистики и эконометрики МЭСИ, а также Дэн, проф. В.И. Афанасьев.
К сожалению, опыт показывает, что аргументированное разоблачение подобных сочинений занимает объем не меньший, чем само разбираемое сочинение. Поэтому решиться на такой труд можно лишь в случае крайней необходимости.

А.И. Орлов
2008-01-05



Остальное сказано в начале темы.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт янв 31, 2008 1:10 am 
Не в сети

Зарегистрирован: Чт янв 24, 2008 1:59 pm
Сообщений: 6
Вот мои комментарии по пунктам:

4. Теория развита для значительно более общего случая, когда (y_i,x_i) - случайные и зависимые наблюдения общего вида, поскольку все выводы для этого случая повторяют выводы для случая независимых наблюдений за исключением того, что применяются законы больших чисел и ЦПТ для стационарных и эргодических рядов. В итоге регрессионные коэффициенты также оказываются асимптотически нормальными, но с особенными ковариационными матрицами.

5 и 6. Проблем с поиском "ключей" у исследователя не будет, если выборка достаточно велика, поскольку использование нормальных квантилей опирается на асимптотическое распределение регрессионных коэффициентов, которое нормально для любого распределения регрессоров (удовлетворяющего ЦПТ), в том числе и для dummy-переменных - они ничуть не хуже других. Существуют асимптотические постановки, когда вместе с ростом выборки растет и число регрессоров - там получаются свои результаты.

Если выборка не так велика, то можно рассматривать более точную асимптотику более высоких порядков.

7. Чтобы наклон зарплаты от, например, возраста был разым, никто не мешает добавить в регрессионную модель новый регрессор: dummy*age, помимо самого age. Коэффициент при новом регрессоре будет иметь очевидную интерпретацию "насколько с возрастом у токарей увеличение зарплаты выше за 1 год, чем у не-токарей".

8. Такое поведение лишь свидетельствует о том, что вопрошающий не разобрался с самой методологией dummy-переменных, которые по определению принимают значения 0,1, а не об ущербности самой методологии.

9. Книги, исследующие свойства регрессии, при зависимых регрессорах и ошибках общего вида (но стационарных и эргодичных) и доказывающие результаты об асимптотическом распределении коэффициентов регрессии, могут быть названы "полезными", поскольку они охватывают наиболее типичные случаи эконометрической практики. В книгах моей ссылки исследуется и такая наиболее общая постановка.

И еще, мне кажется, нет смысла бороться с "неправильными" книгами. На это никакой жизни не хватит. Лучше распространять "правильные" книги, и рациональный читатель сам сделает адекватный выбор.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт янв 31, 2008 8:27 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8986
Поиграем на поле "убогой эконометрики", составляющей 5% от всей эконометрики.
Цитата:
4. Теория развита для значительно более общего случая, когда (y_i,x_i) - случайные и зависимые наблюдения общего вида, поскольку все выводы для этого случая повторяют выводы для случая независимых наблюдений за исключением того, что применяются законы больших чисел и ЦПТ для стационарных и эргодических рядов. В итоге регрессионные коэффициенты также оказываются асимптотически нормальными, но с особенными ковариационными матрицами.

Конечно, есть более общая теория, основанная на ЦПТ. См., например. п.5.1 в учебнике Орлова А.И. "Эконометрика" http://orlovs.pp.ru/econ.php#ek1 . Или п.6.3 там же про оценивание длины периода и периодической составляющей во временных рядах.
Цитата:
5 и 6. Проблем с поиском "ключей" у исследователя не будет, если выборка достаточно велика, поскольку использование нормальных квантилей опирается на асимптотическое распределение регрессионных коэффициентов, которое нормально для любого распределения регрессоров (удовлетворяющего ЦПТ), в том числе и для dummy-переменных - они ничуть не хуже других. Существуют асимптотические постановки, когда вместе с ростом выборки растет и число регрессоров - там получаются свои результаты.

Констатируем, что из использования в тексте распределений Стьюдента и Фишера (и хи-квадрат) вытекает, что автор опирается на гипотезу нормальности исходных результатов измерений. Т.е. соответствующее сочинение не может применяться на практике. Теперь берем
Цитата:
Практикум по эконометрике / И.И. Елисеева и др. Под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2001. – Рецензенты: каф. матем. статистики и эконометрики МЭСИ, а также Дэн, проф. В.И. Афанасьев.

Автор и редактор - член-корреспондент РАН. Единственный статистик и "эконометрик" в РАН. А МЭСИ - ведущий вуз в рассматриваемой области, в нем есть "Институт эконометрики" во главе с Мхитаряном - лучшим другом Айвазяна.
И что видим? Квантили распределений Стьюдента и Фишера даже без указания на нормальность исходных данных. Тем более без проверки нормальности. Такое сочинение отнес к классу
Цитата:
Очень вредные – те, в которых нет и следа математической строгости. Обычно они написаны экономистами, которые ничего в математике не понимают. К сожалению, к ним относятся и сочинения, выпущенные чл.-корр. РАН И.И. Елисеевой

Воистину, сейчас время академиков-невежд.
Но важно другое. Если бы были распространены научно обоснованные эконометрические методы, то даже член-корр РАН писала бы правильно.
Есть, конечно, грамотные авторы. Только почему-то попадаются совсем непотребные книги.
Цитата:
7. Чтобы наклон зарплаты от, например, возраста был разым, никто не мешает добавить в регрессионную модель новый регрессор: dummy*age, помимо самого age. Коэффициент при новом регрессоре будет иметь очевидную интерпретацию "насколько с возрастом у токарей увеличение зарплаты выше за 1 год, чем у не-токарей".

Новый регрессор сдвинет зависимость на константу, равную коэффициенту у этой dummy-переменной, для всех объектов, для которых эта переменная равна 1. Наклон не изменится, и это, конечно, одно из основных возражений против использования таких переменных.
Если, конечно, используется линейный регрессионный анализ.
Можно - теоретически - загнать dummy-переменную (+ константу) в коэффициент при каком-нибудь члене. Но тогда наклон будет меняться скачком, а модель не будет линейной по параметрам. Опять плохо.
Цитата:
Книги, исследующие свойства регрессии, при зависимых регрессорах и ошибках общего вида (но стационарных и эргодичных) и доказывающие результаты об асимптотическом распределении коэффициентов регрессии, могут быть названы "полезными", поскольку они охватывают наиболее типичные случаи эконометрической практики.

По моей оценке профессора кафедры "Экономика и организация производства" и члена дисс. совета по специальности 08.00.05 "Экономика и управление в народном хозяйстве (промышленность)" тематика регрессионного анализа - лишь 5% от эконометрической практики.
Цитата:
И еще, мне кажется, нет смысла бороться с "неправильными" книгами. На это никакой жизни не хватит.

Об этом я писал:
Цитата:
К сожалению, опыт показывает, что аргументированное разоблачение подобных сочинений занимает объем не меньший, чем само разбираемое сочинение. Поэтому решиться на такой труд можно лишь в случае крайней необходимости.

Например, когда я в 80-е рецензировал опус Айвазяна и Ко. "Прикладная статистика. Исследование зависимостей", то на страницу опуса приходилась страница замечаний. Вывод был: "Печатать нельзя". К сожалению, напечатали, а меня указали рецензентом.
Цитата:
Лучше распространять "правильные" книги, и рациональный читатель сам сделает адекватный выбор.

Для начала надо, чтобы "рациональный читатель" прочитал "правильные" книги. Вы ведь так и не прочитали "Эконометрику" Орлова.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт фев 01, 2008 2:07 am 
Не в сети

Зарегистрирован: Чт янв 24, 2008 1:59 pm
Сообщений: 6
Цитата:
Констатируем, что из использования в тексте распределений Стьюдента и Фишера (и хи-квадрат) вытекает, что автор опирается на гипотезу нормальности исходных результатов измерений. Т.е. соответствующее сочинение не может применяться на практике.


Согласен, что методика, предполагающая, что ошибки подчинены какому-то определенному распределению (нормальному), при неслучайных регрессорах, имеет очень узкую применимость.
Использование распределения Стьдента и Фишера при тестировании гипотез свидетельствует о таких ограничивающих предположениях. Мне кажется, нужно пользоваться асимптотическими результатами, поскольку они не накладывают жестких ограничений на распределение ошибок и регрессоров. При использовании асимптотики регрессионные коэффициенты асимптотически нормальны, а тест Вальда для коэффициентов регрессии, например, имеет асимптотическое хи-квадрат распределение.

Цитата:
Новый регрессор сдвинет зависимость на константу, равную коэффициенту у этой dummy-переменной, для всех объектов, для которых эта переменная равна 1. Наклон не изменится, и это, конечно, одно из основных возражений против использования таких переменных.

Сдвиг произойдет не на константу, а на переменную age:
y_t=c0+c1*age_t+c2*age_t*dummy_t=(*)
для токарей (dummy=1) наклон с1+с2, для остальных (dummy=0) наклон c1.

Цитата:
Можно - теоретически - загнать dummy-переменную (+ константу) в коэффициент при каком-нибудь члене.

Фактически так и происходит, поскольку (*)=c0+(c1+c2*dummy_t)age_t.

Цитата:
Но тогда наклон будет меняться скачком
- правильно, поскольку характеристика токарь/не токарь меняется тоже скачком.

Цитата:
модель не будет линейной по параметрам
Но модель же линейна по параметрам age_t и age_t*dummy_t.

Цитата:
тематика регрессионного анализа - лишь 5% от эконометрической практики.
Спорить не буду, существуют очень много различных подходов, а мой опыт применения эконометрики на практике еще небольшой. Но по примерам моих знакомых, занимающихся эконометрикой на работе, им МНК в большинстве случаев хватает, хотя нельзя сказать, что они не знают другие методы оценивания. МНК сочетает естественность (разумно же начинать с линейной модели), устойчивость работы (квадратичный функционал имеет единственный экстремум- глобальный минимум, в отличие от того же ММП, где может быть много разных экстремумов), имеет широкую применимость, поскольку допускает распределение регрессоров и ошибок самого общего вида (для получения асимптотических результатов), и все его свойства аналитически проработаны в учебниках ("вредные" учебники не рассматриваем).

Хотя, конечно, помимо МНК нужно знать и другие методы, должны присутствовать кругозор и гибкость подхода.

Цитата:
Для начала надо, чтобы "рациональный читатель" прочитал "правильные" книги. Вы ведь так и не прочитали "Эконометрику" Орлова.
Я обязательно ознакомлюсь с Вашим учебником.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт фев 01, 2008 12:00 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8986
Золотые слова:
Цитата:
Согласен, что методика, предполагающая, что ошибки подчинены какому-то определенному распределению (нормальному), при неслучайных регрессорах, имеет очень узкую применимость.
Использование распределения Стьдента и Фишера при тестировании гипотез свидетельствует о таких ограничивающих предположениях. Мне кажется, нужно пользоваться асимптотическими результатами, поскольку они не накладывают жестких ограничений на распределение ошибок и регрессоров.

Мохо использовать модель с произведением переменных:
Цитата:
Сдвиг произойдет не на константу, а на переменную age:
y_t=c0+c1*age_t+c2*age_t*dummy_t=(*)
для токарей (dummy=1) наклон с1+с2, для остальных (dummy=0) наклон c1.

Но возникает вопрос: почему свободный член одинаков для токарей и для остальных? Можно ввести слагаемое c3*dummy_t=(*).
Но не проще ли разбить выборку на две - токарей и остальных, и анализировать отдельно. По крайней мере в итоговом отчете лучше писать отдельно о токарях и отдельно об остальных.
Если же возраст описывать не только количественной переменной, но и с участием dummy-переменных (молодой, средний, пожилой), то зависимость будет кусочно-линейной, и скачки угла наклона выглядят неестественно.
Цитата:
Эконометрика – это наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей (Энциклопедический Словарь).

И в этой науке проблемы восстановления зависимостей занимают примерно 5%. Об остальном содержании можно судить, например, по названиям глав в учебнике Орлова "Эконометрика".


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс дек 07, 2008 2:26 pm 
Не в сети

Зарегистрирован: Чт июл 19, 2007 4:03 pm
Сообщений: 29
Александр Иванович, Вы совершенно справедливо пишете:
Из шести приведенных по указанному адресу книг четыре - это опусы Катышева-Магнуса-Пересецкого и Анатольева, и по объему - 2/3 на эти опусы приходится.
Во всех этих опусах охват эконометрических методов, нужных для практической работы экономиста и менеджера, не превышает 5%
.

И возникают вопросы
1. Например, в учебнике Катышева есть нагромождение формул, в которых даже разобраться трудно (в отличие от Вашего учебника, где все понятно). Почему такие неграмотные учебники получили столь широкое распространение?
2. Почему Айвазян после стольких разоблачений до сих пор сидит в ЦЕМИ и каждый год издает новые и новые книги (под своей редакцией, рецензией и др.)?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс дек 07, 2008 3:27 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 8986
1. На форуме достаточно много материалов по затронутым вопросам:
Эконометрика по Айвазяну. Что это - глупость или диверсия?http://forum.orlovs.pp.ru/viewtopic.php?t=391
Убогая эконометрика и убогие эконометрики viewtopic.php?t=552
Троянские кони в экономике и менеджменте
viewtopic.php?t=423
Айвазян обокрал покойника viewtopic.php?t=490

2.
Цитата:
Например, в учебнике Катышева есть нагромождение формул, в которых даже разобраться трудно (в отличие от Вашего учебника, где все понятно). Почему такие неграмотные учебники получили столь широкое распространение?

У меня создалось впечатление, что с математической точки зрения изложение в учебнике Катышева и др. корректно. Критикую за оторванность от реального мира, практических задач.

3.
Цитата:
Почему Айвазян после стольких разоблачений до сих пор сидит в ЦЕМИ и каждый год издает новые и новые книги (под своей редакцией, рецензией и др.)?

Издательства работают ради выгоды. Реально контроль качества отсутствует (рецензии подмахивают не читая). Итог - много ошибок (см. тему "Профессора-невежды готовят себе на смену новых невежд" viewtopic.php?t=548 ).
Проблема была острой и в советские времена, а уж сейчас...


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB