Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Чт мар 28, 2024 9:21 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ 1 сообщение ] 
Автор Сообщение
 Заголовок сообщения: Методы анализа качественной информации - Программа 2007
СообщениеДобавлено: Пт сен 21, 2007 8:27 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Федеральное агентство по образованию

Государственное образовательное учреждение высшего профессионального образования
«Российская Экономическая Академия им. Г.В. Плеханова»





Факультет Экономико-математический
Кафедра анализа стохастических процессов в экономике



РАБОЧАЯ ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ

«МЕТОДЫ АНАЛИЗА КАЧЕСТВЕННОЙ ИНФОРМАЦИИ»


(Дипломированный специалист по специальности 061800
«Математические методы в экономике»)







Москва, 2007

Составитель: доктор технических наук, профессор Орлов А.И.
Рецензент: доктор технических наук, профессор Новиков Д.А.,
Институт проблем управления РАН


В результате обучения по дисциплине «Методы анализа качественной информации» студенты должны овладеть основными современными методами анализа качественных данных на уровне, достаточном для использования в практической деятельности экономиста. Методы анализа качественной информации изучаются как часть эконометрики – науки о разработке и применении статистических методов анализа экономической информации.
В ходе обучения решаются следующие конкретные задачи:
- овладеть основными понятиями теории измерений и теории средних величин, а также результатами на стыке этих научных областей, касающимися выбора адекватного метода анализа данных;
- познакомиться с различными экспертными технологиями;
- изучить методы статистического анализа бинарных отношений;
- овладеть оптимизационными методами определения эмпирических и теоретических средних для данных произвольной природы, изучить свойства этих средних, в частности, законы больших чисел для случайных элементов пространств общей природы;
- освоить основные подходы и результаты статистики нечисловых данных;
- изучить основные идеи, постановки и результаты статистики интервальных данных.
Дисциплина «Методы анализа качественной информации» преподается студентам экономико-математического факультета РЭА им. Г.В. Плеханова на четвертом году обучения (7 семестр, 1 блок). Заканчивается зачетом. Согласование с последующими дисциплинами не предусмотрено за отсутствием таковых.
Дисциплина «Методы анализа качественной информации» относится к циклу дисциплин ОПД (Общепрофессиональные дисциплины), к региональному (вузовскому) компоненту (ОПД.Р.00). В учебном плане РЭА им. Г.В. Плеханова подготовки дипломированного специалиста по специальности 061800 «Математические методы в экономике» указанная дисциплина приведена в строке Р.04. На нее выделено 110 часов (36 аудиторный часов, 18 – лекции, 18 – практические занятия). Программа разработана в соответствии с ГОС ВПО по указанной специальности.


Рабочая программа – авторская
Рабочая программа утверждена на заседании кафедры анализа стохастических процессов в экономике,
протокол № 39 от 30 марта 2007 г.
Заведующий кафедрой ____________________ Самыловский А.И.
(подпись)

Одобрено советом (методической комиссией) экономико-математического факультета, протокол №____ от «___» _____________ 2007 г.
Председатель ___________________--- ___________________
(подпись) (Ф.И.О.)



Оглавление

Организационно-методический раздел……………………….………4
Содержание программы учебной дисциплины……………………….7
Учебно-методическое обеспечение дисциплины……………………16
Тематический план изучения дисциплины…………………………...22

Организационно-методический раздел

Цель дисциплины: овладеть основными современными методами анализа качественных данных на уровне, достаточном для использования в практической деятельности экономиста.
Учебные задачи дисциплины:
- познакомиться с основами методов анализа качественной информации как части эконометрики – науки о разработке и применении статистических методов анализа экономической информации;
- овладеть основными понятиями теории измерений и теории средних величин, а также результатами на стыке этих научных областей, касающимися выбора адекватного метода анализа данных;
- познакомиться с различными экспертными технологиями;
- изучить методы статистического анализа бинарных отношений;
- овладеть оптимизационными методами определения эмпирических и теоретических средних величин для данных произвольной природы, изучить свойства этих средних, в частности, законы больших чисел для случайных элементов пространств общей природы;
- освоить основные подходы и результаты статистики нечисловых данных;
- изучить основные идеи, постановки и результаты статистики интервальных данных.
Методы преподавания дисциплины:
- лекции;
- практические занятия (семинары), на которых обсуждаются основные проблемы, освещенные в лекциях и сформулированные в домашних заданиях;
- письменные или устные домашние задания;
- расчетно-аналитические задания, выполняемые на практических занятиях;
- консультации преподавателей;
- самостоятельная работа студентов, в коорую входит освоение теоретического материала, подготовка к семинарам (практическим занятиям), выполнение указанных выше письменных работ.
Место курса среди других дисциплин учебного плана:
Программа предназначена для студентов четвертого курса экономико-математического факультета.
Теоретической базой дисциплины являются математические дисциплины, входящие в стандартный начальный курс высшей математики. А именно - общий курс высшей математики (дисциплины «Математический анализ», «Линейная алгебра», особенно «Теория вероятностей и математическая статистика» и «Дискретная математика»).
Предполагается знакомство с курсом эконометрики - науки, изучающей конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей (в соответствии с учебником: Орлов А.И. Эконометрика. Учебник для вузов. – М.: Экзамен, 2002 (1-е изд.), 2003 (2-е изд.), 2004 (3-е изд.). – 576 с. http://orlovs.pp.ru ). Знакомство с различными вариантами метода наименьших квадратов не требуется. Полезно знакомство с дисциплиной «Математические методы и модели исследования операций».
Из других экономических дисциплин в ряде тем курса предполагается знакомство с дисциплинами «Экономическая теория», «Менеджмент» и со статистикой (дисциплины «Статистика» и «Социально-экономическая статистика»).


Требования к уровню освоения содержания:
Студент должен знать:
- основные статистические методы анализа качественных экономических данных;
- базовые идеи, модели, методы и результаты в области сбора и анализа качественных, в том числе экспертных данных;
- различные методы организации и проведения экспертных исследований;
- основы современной теории измерений и применения этой теории для выбора вида средней величины в соответствии со шкалой измерения;
- основные статистические показатели, в том числе средние величины (степенные и структурные средние, средние по Коши, средние по Колмогорову) и ранговые коэффициенты корреляции;
- методы статистики бинарных отношений, в том числе основанные на использовании расстояния Кемени и медианы Кемени;
- методы статистики нечисловых, в том числе нечетких и интервальных данных;
- определения эмпирических и теоретических средних, законы больших числе в пространствах произвольной природы.
Студент должен уметь:
- строить вероятностно-статистические модели порождения качественных данных;
- применять основные подход теории измерений, в частности, выявлять шкалы измерения конкретных качественных данных;
- применять методы описания данных, оценивания, проверки гипотез для качественных данных, в частности, для люсианов;
- находить групповое мнение комиссии экспертов по индивидуальным экспертным оценкам, выраженным в качественной форме, в частности, в виде кластеризованных ранжировок и множеств;
- анализировать наборы бинарных отношений, в частности, строить соответствующие матрицы из 0 и 1 и рассчитывать расстояние Кемени;
проводить статистический анализ нечисловых, в том числе нечетких и интервальных данных.
Студент должен иметь навыки:
- проведения сбора и анализа конкретных экономических данных на основе базовых статистических методов анализа качественной информации;
- использования ранговых коэффициентов корреляции;
- разработки и применения статистических и экспертных технологий сбора и анализа качественных данных;
- проведения статистического анализа бинарных отношений, нечисловых, в том числе нечетких и интервальных данных.
Формы контроля:
Текущий контроль (осуществляется лектором и преподавателем, ведущим практические (семинарские) занятия):
- микроконтрольные работы;
- контрольные работы;
- письменные домашние задания;
- подготовка докладов, рефератов, выступлений;
- промежуточное тестирование по отдельным разделам дисциплины.
Итоговый контроль – зачет:
- форме собеседования;
- в форме тестирования;
- в письменной форме;
- в комбинированной форме.
Выбор форм контроля осуществляется преподавателем, принимающим зачет.
Возможный критерий получения зачета – полное решение всех задач, включенных в контрольные работы, проведенные в ходе изучения курса. Доработка с целью исправления недостатков работы допускается в ходе изучения курса и при итоговом контроле. Итоговый контроль – зачет проводится преподавателем, ведущим практические (семинарские) занятия.

Содержание программы учебной дисциплины


Тема 1. Методы анализа качественной информации как часть эконометрики

Цель: познакомить с основными идеями изучаемой дисциплины и указать ее место в рамках эконометрики.
Задачи: познакомить с определениями и структурами эконометрики и прикладной статистики; дать представление о развитии статистики; дать примеры объектов нечисловой природы; ввести внутреннее деление нечисловой статистики (методов анализа качественной информации).
Примерный объем темы: 12 часов (2 ауд. часа (лекция) и 10 часов самостоятельной работы).
Содержание темы. Определение эконометрики как науки, изучающей конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей. Структура современной эконометрики: методы анализа данных (прикладная статистика), эконометрические модели, применения эконометрических методов для решения конкретных задач. Особенности экономических данных и их учет в эконометрических методах прикладной статистики. Структура прикладной статистики: одномерная статистика, многомерный статистический анализ, статистика случайных процессов и временных рядов, нечисловая статистика (методы анализа качественной информации).
История и современное состояние теории и практики статистики в нашей стране. Развитие нечисловой статистики в СССР и России. Примеры объектов нечисловой природы. Внутреннее деление нечисловой статистики.
Методы: Науковедение и наукометрия как методы описания научной области. Исторический подход к описанию развития дисциплины. Системный анализ как основа построения структуры научной области.
Литература: [1, Введение], [5, гл.1].
Вопросы для самопроверки:
1. Дайте определение эконометрики.
2. Какова структура современной эконометрики?
3. Сравните различные определения статистики.
4. Каково место прикладной статистики среди статистических наук.
5. Укажите положение методов анализа качественной информации в прикладной статистике.
Вопросы и задания для самостоятельной работы:
1. Рассмотрите примеры экономических данных и влияние особенностей этих данных на выбор методов статистического анализа.
2. Сопоставьте структурирование прикладной статистики, даваемое в различных литературных источниках.
3. Сравните определения прикладной статистики из различных литературных источников.
4. Опишите наиболее старые известные вам статистические исследования.
Эссе, рефераты или доклады по теме:
1. Взаимосвязь различных видов объектов нечисловой природы.
2. Обоснование структуры прикладной статистики.
3. Развитие теории и практики статистики в нашей стране.
4. Методы анализа качественной информации в СССР и России.
5. Внутреннее деление научной области, посвященной методам анализа качественной информации.

Тема 2. Теория измерений и средние величины

Цель: овладеть основными понятиями репрезентативной теории измерений, теорией средних величин и результатами на стыке этих двух теорий.
Задачи: изучить основные шкалы измерений - наименований, порядка, интервалов, отношений, разностей, абсолютную (определения, примеры, группы допустимых преобразований); изучить основные виды средних (степенные, структурные, средние по Колмогорову, средние по Коши); на основе условия устойчивости результата сравнения средних относительно группы допустимых преобразований; выяснить, какими средними можно пользоваться при анализе результатов измерений в тех или иных шкалах.
Примерный объем темы: 12 часов (6 ауд. часов (3 часа – лекции, 3 часа – практические занятия) и 6 часов самостоятельной работы).
Содержание темы. Основы репрезентативной теории измерений. Определения основных шкал, примеры. Группы допустимых преобразований для основных типов шкал (наименований, порядка, интервалов, отношений, разностей, абсолютной). Требование устойчивости статистических и эконометрических выводов и заключений относительно допустимых преобразований шкал.
Различные виды средних величин. Сравнение трех видов средних (среднее арифметическое, мода, медиана) для зарплаты (доходов) работников предприятия. Средние по Колмогорову. Определение средних величин по Коши.
Некорректность применения среднего арифметического в порядковой шкале. Теорема об описании средних, результат сравнения которых устойчив в порядковой шкале. Применения к рейтингам. Средние по Колмогорову и описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений.
Теория измерений и статистические методы.
Методы: Методы перехода от эмпирической системы с отношениями к числовой системе с отношениями. Методы расчета, сравнения и выбора средних величин (и других алгоритмов анализа данных).
Литература: [1, с.25-30, с.235-241]. [5, гл.3], [6, с.109-120], [7], [8], [15], [21], [26].
Вопросы для самопроверки:
1. Всегда ли имеет смысл складывать числа, используемые в той или иной области человеческой деятельности?
2. Приведите примеры величин, измеренных в шкале наименований.
3. Приведите примеры величин, измеренных в порядковой шкале.
4. Приведите примеры величин, измеренных в шкале интервалов.
5. Приведите примеры величин, измеренных в шкале отношений.
Вопросы и задания для самостоятельной работы:
1. Постройте пример, показывающий некорректность использования среднего арифметического f(X1, X2) = (X1 + X2)/2 в порядковой шкале, используя допустимое преобразование g(x) = x2 (при положительных усредняемых величинах х).
2. Постройте пример, показывающий некорректность использования среднего геометрического в порядковой шкале.
3. Какие средние величины целесообразно использовать при расчете средней заработной платы (или среднего дохода)?
Эссе, рефераты или доклады по теме:
1. Теория измерений как научная дисциплина, посвященная гомоморфизмам эмпирических систем с отношениями в числовые системы с отношениями.
2. Показатели разброса, связи, показатели различия (в том числе метрики) в порядковой шкале.
3. Ранговые методы математической статистики как инвариантные методы анализа порядковых данных.
4. Показатели разброса, связи, показатели различия (в том числе метрики) в шкале интервалов.
5. Показатели разброса, связи, показатели различия (в том числе метрики) в шкале отношений.
6. Теорема В.В. Подиновского: любое изменение коэффициентов весомости единичных показателей качества продукции приводит к изменению упорядочения изделий по средневзвешенному показателю (доказательство и прикладное значение).

Тема 3. Экспертные технологии

Цель: Познакомиться с многообразием экспертных технологий и овладеть методами получения итогового мнения комиссии экспертов на основе использования средних арифметических рангов и медиан рангов.
Задачи: Разобрать спектр примеров экспертных процедур и ввести основные понятия, используемые в теории и практике экспертных оценок. Выявить основные этапы при проведении экспертного исследования. Провести классификацию различных вариантов организации экспертного исследования. С целью получения итогового мнения комиссии экспертов изучить метод средних арифметических рангов и метод медиан рангов, а также алгоритм согласования кластеризованных ранжировок.
Примерный объем темы: 22 часов (10 ауд. часа (5 часов – лекции, 5 часов – практические занятия) и 12 часов самостоятельной работы).
Содержание темы. Необходимость проведения экспертных исследований. Примеры процедур экспертных оценок. Их использование в соревнованиях, при выборе, распределении финансирования. Военный совет в Филях как пример экспертной процедуры. Метод Дельфи. Мозговой штурм. Экологические экспертизы. Метод сценариев.
Основные этапы проведения экспертного исследования. Формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.). Формирование состава экспертной комиссии: методы списков (реестров), "снежного кома", самооценки, взаимооценки. Проблема априорных предпочтений экспертов.
Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений). Сочетание различных методов экспертного оценивания.
Проблема получение итогового мнения комиссии экспертов. Метод средних арифметических рангов. Его некорректность в большинстве экспертных исследований. Метод медиан рангов. Согласование кластеризованных ранжировок (ГОГ-метод).
Методы: Выбор экспертной технологии. Обработка результатов экспертных упорядочений по методам средних рангов и медиан. Согласование кластеризованных ранжировок.
Литература: [1,с.531-545], [5, гл.12], [6, с.381-419], [11], [16], [17], [24], [26].
Вопросы для самопроверки:
1. Почему необходимо применение экспертных оценок при решении социально-экономических, экологических и иных проблем?
2. Какие стадии экспертного исследования выделяет менеджер - организатор такого исследования?
3. По каким основаниям классифицируют различные варианты организации экспертных исследований?
4. Какова роль диссидентов в различных видах экспертиз?
5. Какой вид могут иметь ответы экспертов?
6. Чем метод средних арифметических рангов отличается от метода медиан рангов?
7. Почему необходимо согласование кластеризованных ранжировок и как оно проводится?
8. В чем состоит проблема согласованности ответов экспертов?
Вопросы и задания для самостоятельной работы:
1. В таблице приведены упорядочения 7 инвестиционных проектов, представленные 7 экспертами.

Упорядочения проектов экспертами
Эксперты Упорядочения
1 1 < {2,3} < 4 < 5 < {6,7}
2 {1,3} < 4 < 2< 5< 7 < 6
3 1 < 4 < 2 < 3 < 6 < 5 < 7
4 1 < {2, 4} < 3 < 5 < 7 <6
5 2 < 3 < 4 < 5 <1 <6 <7
6 1 < 3 < 2 < 5 < 6 < 7 < 4
7 1 < 5 < 3 < 4 < 2 < 6 < 7

Найдите:
а) итоговое упорядочение по средним арифметическим рангам;
б) итоговое упорядочение по медианам рангов;
в) кластеризованную ранжировку, согласующую эти два упорядочения.
2. Государственная экологическая экспертиза: назначение, цели, требования к проведению.
3. Организация и проведение экологической экспертизы.
4. Правовые основы экологической экспертизы.
5. Проблемы взаимодействия экологических органов и промышленных предприятий.
Эссе, рефераты или доклады по теме:
1. Роль экспертных оценок в менеджменте.
2. Организация различных видов экспертных исследований.
3. Сравнение очных и заочных вариантов работы экспертов.
4. Методы средних баллов.
5. Согласование кластеризованных ранжировок.

Тема 4. Статистика бинарных отношений

Цель: Познакомиться с основными понятиями и результатами статистики бинарных отношений.
Задачи: Познакомиться с определением бинарных отношений, их основными свойствами и видами. Освоить понятия расстояния Кемени и медианы Кемени. Изучить свойства медианы Кемени. Освоить ранговые коэффициенты корреляции. Рассмотреть методы построения обобщенного показателя как функции частных показателей. Рассмотреть методы определения коэффициентов весомости, в том числе экспертно-статистический метод.
Примерный объем темы: 18 часов (10 ауд. часов (4 часа – лекции, 6 часов – практические занятия) и 8 часов самостоятельной работы).
Содержание темы. Бинарные отношения на конечном множестве (ранжировки, разбиения, толерантности) как ответы экспертов. Их описание матрицами из 0 и 1. Рефлексивность, симметричность, транзитивность. Ранжировки (упорядочения), разбиения (эквивалентности), толерантности.
Расстояние Кемени между бинарными отношениями. Медиана Кемени, ее асимптотика и свойства при малых объемах выборок и различных предположениях о распределении случайных ранжировок. Унимодальные изотропные распределения и единственность среднего (медианы). Интерпретация законов больших чисел для нечисловых данных в терминах теории экспертного опроса.
Ранговые коэффициенты корреляции. Связь метода средних рангов с коэффициентом ранговой корреляции Спирмена. Линейная зависимость расстояния Кемени от коэффициента ранговой корреляции Кендалла.
Обобщенный показатель (полезность) как функция частных показателей. Методы построения обобщенного показателя. Два подхода к определению весовых коэффициентов линейной функции полезности. Линейная свертка с коэффициентами, которые оценивают эксперты. Критика такого подхода на основе анализа реальных предложений по процедуре выбора технологии Недостатки экспертных методов непосредственного определения коэффициентов весомости. Экспертно-статистический метод и его реализация с помощью метода наименьших квадратов.
Методы: Описание бинарных отношений матрицами, расчет расстояния Кемени. Нахождение медианы Кемени. Ранговые коэффициенты корреляции.
Литература: [1, гл.9, 11], [2], [4], [5, гл.5, 8, 12], [6, с.278-299, 393-405], [13], [16].
Вопросы для самопроверки:
1. Как бинарные отношения используются в экспертизах?
2. Как бинарные отношения описываются матрицами из 0 и 1?
3. Что такое расстояние Кемени и медиана Кемени?
4. В чем преимущества экспертно-статистического метода?
Вопросы и задания для самостоятельной работы:
1. Выпишите матрицу из 0 и 1, соответствующую бинарному отношению (кластеризованной ранжировке) 5<{1, 3}<4<2<{6, 7}.
2. Найдите расстояние Кемени между бинарными отношениями - упорядочениями А = [3< 2 <1< {4,5}] и B = [1 < {2 ,3} < 4 < 5].
3. Дана квадратная матрица (порядка 9) попарных расстояний (мер различия) для множества бинарных отношений из 9 элементов А1, А2, А3,..., А9. Найдите в этом множестве медиану (эмпирическое среднее) для множества из 5 элементов {А2, А3, А5, А6, А9}.

Попарные расстояния между бинарными отношениями
Элементы А1 А2 А3 А4 А5 А6 А7 А8 А9
А1 0 5 3 6 7 4 10 3 11
А2 5 0 5 6 10 3 2 5 7
А3 3 5 0 8 2 7 6 5 7
А4 6 6 8 0 5 4 3 8 8
А5 7 10 2 5 0 10 8 3 7
А6 4 3 7 4 10 0 2 3 5
А7 10 2 6 3 8 2 0 6 3
А8 3 5 5 8 3 3 6 0 9
А9 11 7 7 8 7 5 3 9 0

Эссе, рефераты или доклады по теме:
1. Классификация мнений экспертов и проверка согласованности.
2. Формирование итогового мнения комиссии экспертов.
3. Расстояние по Кемени и медиана Кемени в экспертных оценках.

Тема 5. Средние величины для нечисловых данных

Цель: Познакомиться с методами введения эмпирических и теоретических средних величин в пространствах произвольной природы и с законами больших числе в таких пространствах.
Задачи: Освоить оптимизационный подход к определению эмпирических и теоретических средних. Овладеть формулировками законов больших чисел в пространствах произвольной природы и их обобщений – утверждений об асимптотическом поведении решений экстремальных статистических задач. Применить аксиоматический подход к выводу вида расстояний в конкретных пространствах нечисловых данных. Познакомиться с различными видами непараметрических оценок плотности в пространствах произвольной природы. Изучить расстояния, теоретические и эмпирические средние в пространстве подмножеств конечного множества.
Примерный объем темы: 12 часов (6 ауд. часов (4 часа – лекции, 2 часа – практические занятия) и 6 часов самостоятельной работы).
Содержание темы. Оптимизационный подход к определению эмпирических и теоретических средних в пространствах произвольной природы. Сравнение с экстремальными свойствами среднего арифметического, математического ожидания, теоретической и выборочной медианы. Нахождение эмпирического среднего как способ агрегирования мнений экспертов. Формулировки законов больших чисел в пространствах произвольной природы.
Расстояния, теоретические и эмпирические средние в пространстве подмножеств конечного множества. Построение эмпирического среднего (итогового мнения комиссии экспертов) по правилу большинства.
Метрики (показатели различия) в пространствах произвольной природы - основа методов статистики нечисловых данных.
Асимптотическое поведение решений экстремальных статистических задач. Непараметрические оценки плотности в пространствах произвольной природы, в частности, для дискретных пространств. Статистики интегрального типа в пространствах произвольной природы. Применение статистики объектов нечисловой природы при построении новой хронологии и значение полученных выводов для современных социально-экономических проблем.
Методы: Оптимизационные методы расчета эмпирических и теоретических средних. Аксиоматическое введение метрик в пространствах нечисловых данных. Методы изучения асимптотического поведения решений экстремальных статистических задач. Непараметрические методы оценки плотности распределения вероятностей в пространствах произвольной природы.
Литература: [1, гл.1, 5, 11], [5, гл.8], [4],[13], [18].
Вопросы для самопроверки:
1. Чем закон больших чисел для медианы Кемени отличается от "классического" закона больших чисел, известного в статистике?
2. Какая математическая модель используется для описания случайного множества?
3. Как соотносятся эмпирические и теоретические средние для числовых данных и в пространствах произвольной природы?
Вопросы и задания для самостоятельной работы:
1. По выборке фактических данных о величине годового дохода (в тыс. долл.), взятых на конец 1970-х гг. (США), постройте вариационный ряд, гистограмму (группируя данные по 6-ти равным интервалам); определить выборочные среднее арифметическое, медиану и моду:
2,0; 13,4; 2,2; 6,7; 11,1; 10,0; 2,6; 12,9; 10,5; 9,2; 11,1;
14,0; 26,0; 17,5; 7,2; 18,7; 9,9; 7,6; 11,7;11,3; 6,5.
2. Дано распределение по градациям почасовой зарплаты 303 рабочих, занятых в промышленности (fi- число рабочих, имеющих почасовую зарплату xi). Постройте эмпирическую функцию распределения, найдите выборочные медиану, моду и среднее арифметическое.

Распределение рабочих по ставкам почасовой оплаты
xi 2,5 2,6 2,7 2,8 2,9 3,0 3,1 3,2 3,3 3,4
fi 10 25 41 74 58 34 17 14 11 3

3. Какие средние величины целесообразно использовать при расчете средней заработной платы (или среднего дохода)?
Эссе, рефераты или доклады по теме:
1. Существование эмпирических и теоретических средних (математические формулировки).
2. Законы больших чисел в пространствах нечисловой природы (математические формулировки).
3. Почему описание числовых данных с помощью непараметрических оценок плотности предпочтительнее их описания с помощью гистограмм?
4. Применение методов статистического анализа нечисловых данных для восстановления хронологии исторических событий.

Тема 6. Статистика нечисловых данных

Цель: Овладеть основными подходами и результатами статистики нечисловых данных.
Задачи: Установить взаимосвязи между различными видами нечисловых данных. Овладеть основами теории нечетких множеств и методами ее сведения к теории случайных множеств. Познакомиться со статистикой нечетких множеств. Овладеть основными методами анализа экспертных оценок на основе статистики нечисловых данных.
Примерный объем темы: 22 часа (12 ауд. часов (6 часов – лекции, 6 часов – практические занятия) и 10 часов самостоятельной работы).
Содержание темы. Различные виды нечисловых данных, связи между ними. Качественные и разнотипные признаки. Люсианы. Результаты парных сравнений. Множества.
Нечеткие ответы экспертов. Определение и примеры нечетких множеств. Операции над нечеткими множествами и их свойства. Связь нечетких множеств со случайными. Нечеткие эконометрические модели. Расстояния между нечеткими множествами. Усреднение нечетких ответов экспертов.
Методы анализа экспертных оценок на основе статистики нечисловых данных. Применение непараметрической статистики (коэффициентов ранговой корреляции). Применение теории люсианов, вычисление медианы Кемени и использование иных методов статистики нечисловых и интервальных данных. Метод "идеальной точки" с использованием средних рангов.
Методы: Проверка гипотез согласованности, однородности, независимости для люсианов. Алгоритмы анализа качественной информации на основе теории нечетких множеств. Методы сведения теории нечетких множеств к теории случайных множеств. Методы анализа экспертных оценок на основе статистики нечисловых данных.
Литература: [1, гл.1, 11], [3], [5, гл.8], [6, с.259-277], [19], [22].
Вопросы для самопроверки:
1. В каких случаях целесообразно применение нечетких множеств?
2. Как с точки зрения нечетких множеств можно интерпретировать вероятность накрытия определенной точки случайным множеством?
3. Опишите с помощью нечеткого подмножества временной шкалы понятие «молодой человек».
4. Опишите с помощью теории нечеткости понятие «куча зерен».
5. Как можно проводить кластерный анализ совокупности нечетких множеств?
Вопросы и задания для самостоятельной работы:
1. Справедливо ли для нечетких множеств равенство (A+B)C = AC + BC? А равенство (AB)C = (AC)(BC)?
2. На множестве Y = {y1,y2,y3} задано нечеткое множество B с функцией принадлежности μB(y), причем μB(y1) = 0,1, μB(y2) = 0,2, μB(y3) = 0,3. Постройте случайное множество А так, чтобы Proj A = B.
3. На множестве Y = {y1,y2,y3} задано нечеткое множество B с функцией принадлежности μB(y), причем μB(y1) = 0,2, μB(y2) = 0,1, μB(y3) = 0,5. Постройте случайное множество А так, чтобы Proj A = B.
4. На множестве Y = {y1,y2,y3} задано нечеткое множество B с функцией принадлежности μB(y), причем μB(y1) = 0,5, μB(y2) = 0,4, μB(y3) = 0,7. Постройте случайное множество А так, чтобы Proj A = B.
5. На множестве Y = {y1,y2,y3} задано нечеткое множество B с функцией принадлежности μB(y), причем μB(y1) = 0,3, μB(y2) = 0,2, μB(y3) = 0,1. Постройте случайное множество А так, чтобы Proj A = B.
Эссе, рефераты или доклады по теме:
1. Обсудите суждение: «Мы мыслим нечетко». Почему нечеткость мышления помогает взаимопониманию?
2. Взаимосвязь теории нечеткости и теории вероятностей.
3. Методы оценивания функции принадлежности нечеткого множества.
4. Теория нечеткости и интервальная математика.
5. Описание данных для выборок, элементы которых – нечеткие множества.
6. Регрессионный анализ нечетких переменных.
7. Непараметрические оценки плотности распределения вероятностей в пространстве нечетких множеств.
8. Методы теории люсианов в теории и практике экспертных оценок.

Тема 7. Статистика интервальных данных

Цель: Познакомиться с основными подходами и результатами статистики интервальных данных.
Задачи: Научиться стоить вероятностно-статистические модели с использованием интервальных данных как частного вида качественной информации. Овладеть понятием нотны и научиться вычислять асимптотическую нотну. Овладеть понятием рационального объема выборки и научиться его вычислять. Разобрать примеры алгоритмов статистики интервальных данных. Рассмотреть применение статистики интервальных данных в инвестиционном менеджменте и при управлении организацией.
Примерный объем темы: 12 часов (8 ауд. часов (4 часа – лекции, 4 часа – практические занятия) и 4 часа самостоятельной работы).
Содержание темы. Погрешности измерения и интервальные данные. Основная модель интервальной статистики. Понятия нотны - максимально возможного отклонения, вызванного интервальностью статистических данных, и асимптотической нотны (при малой абсолютной погрешности). Расчет асимптотической нотны для квадратичных функций второго порядка. Изучение влияния интервальности дисконт-факторов на величину NPV (чистая приведенная стоимость). Формула для погрешности NPV.
Основные результаты статистики интервальных данных. Рациональный объем выборки. Расчет асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии.
Методы: Расчет нотны и рационального объема выборки при оценивании математического ожидания и дисперсии и при решении других задач статистического анализа данных. Построение доверительных интервалов в использованием асимптотической нотны.
Литература: [1, гл.12], [5, гл.9], [6, с.201-259], [9], [12].
Вопросы для самопроверки:
1. Покажите на примерах, что в задачах принятия решений исходные данные часто имеют интервальный характер.
2. В чем особенности подхода статистики интервальных данных в задачах оценивания параметров?
3. В чем особенности подхода статистики интервальных данных в задачах проверки гипотез?
4. Какие новые нюансы проявляются в статистике интервальных данных при переходе к многомерным задачам?
Вопросы и задания для самостоятельной работы:
1. Выполните операции над интервальными числами:
Вариант 1 - а)[1,2]+[3,4], б)[4,5]-[2,3], в)[3,4]x[5,7], г)[10,20]:[4,5];
Вариант 2 - а)[0,2]+[3,5], б)[3,5]-[2,4], в)[2,4]x[5,8], г)[15,25]:[1,5].
2. Выпишите формулу для асимптотической нотны (ошибки по абсолютной величине не превосходят константы t, предполагающейся малой) для функции
f(x1,x2) = 5 (x1)2 + 10 (x2)2 + 7 x1x2.
Вычислите асимптотическую нотну в точке (x1,x2) = (1,2) при t = 0,1.
3. Выпишите формулу для асимптотической нотны (ошибки по абсолютной величине не превосходят константы t, предполагающейся малой) для функции
f(x1,x2) = 4 (x1)2 + 12 (x2)2 - 3 x1x2.
Вычислите асимптотическую нотну в точке (x1,x2) = (2,1) при t = 0,05.
Эссе, рефераты или доклады по теме:
1. Классическая математическая статистика как предельный случай статистики интервальных данных.
2. Концепция рационального объема выборки.
3. Сравнение методов оценивания параметров и характеристик распределений в статистике интервальных данных и в классической математической статистике.
4. Подход к проверке гипотез в статистике интервальных данных.
5. Метод наименьших квадратов для интервальных данных.
6. Различные способы учета погрешностей исходных данных в статистических процедурах.
7. Статистика интервальных данных как часть теории устойчивости.


Учебно-методическое обеспечение дисциплины

1. Литература

Базовый учебник:
1. Орлов А.И. Прикладная статистика. Учебник. – М.: Экзамен, 2006 (1-е изд.), 2007 (2-е изд.) – 671 с. http://orlovs.pp.ru

Основная литература по дисциплине:

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983.
3. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976. - 168 с.
4. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.
5. Орлов А.И. Эконометрика. Учебник для вузов. – М.: Экзамен, 2002 (1-е изд.), 2003 (2-е изд.), 2004 (3-е изд.). – 576 с. http://orlovs.pp.ru
6. Орлов А.И. Теория принятия решений. Учебник. – М.: Экзамен, 2006. http://orlovs.pp.ru
7. Пфанцагль И. Теория измерений. - М.: Мир, 1976. - 165 с.
8. Суппес П., Зинес Дж. Основы теории измерений. - В сб.: Психологические измерения. - М.: Мир, 1967. С. 9-110.

Дополнительная литература:

9. Алешин Д.Н. Экономическое обоснование эффективности инвестиционных проектов на предприятиях на основе применения эконометрического метода интервальной оценки. Автореферат дисс. канд. экон. наук. - М.: 2001. - 16 с.
10. Бурков В.Н., Новиков Д.А. Как управлять проектами. - М.: СИНТЕГ-ГЕО, 1997. - 188 с.
11. Горский В.Г., Гриценко А.А., Орлов А.И. Метод согласования кластеризованных ранжировок. – Журнал «Автоматика и телемеханика». 2000. No.3. С.179-187.
12. Гуськова Е.А. Разработка организационно-экономических методов повышения эффективности деятельности промышленного предприятия на основе эконометрического подхода. Автореферат дисс. канд. экон. наук. - М.: 2004. - 16 с.
13. Жихарев В.Н., Орлов А.И. Законы больших чисел и состоятельность статистических оценок в пространствах произвольной природы. – В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. – Пермь: Изд-во Пермского государственного университета, 1998. С.65-84.
14. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, 1996.- 208 с.
15. Колмогоров А.Н. Избранные труды: Математика и механика. - М.: Наука, 1985. - С. 136-138.
16. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 271 с.
17. Менеджмент. Учебное пособие / Под ред. Ж.В. Прокофьевой. - М.: Знание, 2000. - 288 с.
18. Носовский Г.В. , Фоменко А.Т. Империя. Русь, Турция, Китай, Европа, Египет. Новая математическая хронология древности. - М.: Факториал, 1996. - 752 с.
19. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
20. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.
21. Орлов А.И. Связь между средними величинами и допустимыми преобразованиями шкалы. – Журнал «Математические заметки». 1981. Т. 30. No.4. С. 561-568.
22. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.: ИКЦ "МарТ"; Ростов н/Д: Издательский центр "МарТ", 2005. - 496 с.
23. Орлов А.И. Нечисловая статистика. Сайт «Высокие статистические технологии» http://orlovs.pp.ru
24. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. Учебное пособие для вузов. – М,: Академия, 2003. – 403 с.
25. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.
26. Толстова Ю.Н. Измерение в социологии. М.: Инфра-М, 1998. - 352 с.


2. Рекомендации по использованию Интернет-ресурсов:

Адреса Веб-ресурсов, которые полезно посетить при изучении дисциплины:
http://orlovs.pp.ru , http://antorlov.nm.ru , http://www.newtech.ru/~orlov , http://mtas.ru/ , http://www.cemi.rssi.ru/rus/index.htm , http://fuzzy.kstu.ru/rans.htm , http://www.ipu.ru/ , http://controlling.ru/ , http://www.nir.ru/socio/scipubl/4M.htm , http://phase.imet.ac.ru/zavlabor/ .

3. Перечень рекомендуемых обучающих, справочно-информационных, контролирующих и прочих компьютерных программ, используемых при изучении дисциплины:

Специфические программы не выделены (см. п.2 выше).

4. Тематика курсовых работ:

1. Аксиоматическое введение D-метрики как расстояния между множествами.
2. Мера симметрической разности как расстояние между множествами: аксиоматическое введение.
3. Аксиоматическое введение расстояния между толерантностями.
4. Расстояние Кемени между упорядочениями.
5. Методы анализа качественной информации на основе использования расстояний между объектами нечисловой природы.
6. Теоретические основы согласования кластеризованных ранжировок.
7. Статистические технологии прогнозирования.
8. Статистический анализ данных, измеренных в порядковой шкале.
9. Ядерные оценки плотности в дискретных пространствах.
10. Методы построения функций принадлежности нечетких множеств при организационно-экономическом моделировании.
11. Свойства медианы Кемени как метода нахождения итогового мнения комиссии экспертов.
12. Роль регламента при реализации экспертных технологий.
13. Экспертные оценки в Федеральном законе «Об экологической экспертизе».
14. Оптимизационный подход к определению теоретических и эмпирических средних.
15. Законы больших чисел в пространствах произвольной природы.
16. Условия существования эмпирических и теоретических средних.
17. Технологии экспертного прогнозирования.
18. Статистический анализ нечетких данных.
19. Сведение теории нечетких множеств к теории случайных множеств.
20. Развитие теории измерений.
21. Методы построения свертки критериев.
22. Индивидуальные, групповые и обобщенные показатели.
23. Современное состояние теории экспертных оценок.
24. Средние величины в пространстве конечных множеств.
25. Проверка гипотезы согласованности в теории люсианов.
26. Проверка гипотезы независимости в теории люсианов.
27. Проверка гипотезы однородности в теории люсианов.
28. Анализ таблиц сопряженности.
29. Восстановление зависимостей в пространствах произвольной природы.
30. Непараметрический регрессионный анализ в пространствах произвольной природы.
31. Дискриминантный анализ на основе ядерных оценок плотности в пространствах произвольной природы.
32. Показатели качества классификации.
33. Кластер-анализ в пространствах произвольной природы.
34. Ранговые коэффициенты корреляции.
35. Система вероятностно-статистических моделей обнаружения различия.
36. Методы проверки однородности характеристик генеральных совокупностей.
37. Методы проверки совпадения функций распределения двух независимых выборок.
38. Обнаружение различий в связанных выборках.
39. Проверка симметрии распределения относительно 0 с помощью статистики типа омега-квадрат.
40. Ранговый коэффициент конкордации.
41. Оптимизационные постановки основных задач прикладной статистики.
42. Асимптотика решений экстремальных статистических задач.
43. Структура современной эконометрики.
44. Учет особенностей экономических данных эконометрических методах прикладной статистики.
45. Структура прикладной статистики.
46. История и современное состояние теории и практики статистических методов в нашей стране.
47. Развитие методов анализа качественной информации в СССР и России.
48. Примеры применения методов анализа качественной информации в экономике и менеджменте.
49. Внутреннее деление нечисловой статистики.
50. Основные шкалы измерения организационно-экономических величин.
51. Основные результаты теории средних величин.
52. Использование различных видов средних величин при анализе данных о доходах.
53. Аксиоматический подход к определению средних по Колмогорову.
54. Многообразие методов экспертных оценок.
55. Организация экспертных исследований.
56. Теория бинарных отношений.
57. Отношения эквивалентности.
58. Отношения порядка (кластеризованные ранжировки).
59. Отношения толерантности.
60. Экспертно-статистический метод.
61. Обобщенный показатель (полезность) как функция частных показателей и методы его построения.
62. Экстремальные свойства среднего арифметического, математического ожидания, теоретической и выборочной медианы.
63. Статистики интегрального типа в пространствах произвольной природы.
64. Применение статистики объектов нечисловой природы при уточнении хронологии и значение полученных выводов для современных социально-экономических проблем.
65. Качественные и разнотипные признаки.
66. Статистическая теория люсианов.
67. Методы анализа результатов парных сравнений.
68. Различные виды нечисловых данных, связи между ними.
69. Определение и примеры нечетких множеств.
70. Операции над нечеткими множествами и их свойства.
71. Нечеткие эконометрические модели.
72. Расстояния между нечеткими множествами.
73. Усреднение нечетких ответов экспертов.
74. Метод "идеальной точки" с использованием средних рангов.
75. Основная модель интервальной статистики, нотна и асимптотическая нотна.
76. Влияние интервальности дисконт-факторов на величину NPV (чистой текущей стоимости).
77. Основные результаты статистики интервальных данных.
78. Рациональный объем выборки – определение и примеры расчета.
79. Расчет асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии.
80. Линейная регрессия для интервальных данных.

5. Вопросы к зачету:

1. Определение эконометрики как науки, изучающей конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей.
2. Структура современной эконометрики: методы анализа данных (прикладная статистика), эконометрические модели, применения эконометрических методов для решения конкретных задач.
3. Особенности экономических данных и их учет в эконометрических методах прикладной статистики.
4. Структура прикладной статистики: одномерная статистика, многомерный статистический анализ, статистика случайных процессов и временных рядов, нечисловая статистика (методы анализа качественной информации). Примеры объектов нечисловой природы.
5. Основы репрезентативной теории измерений. Определения основных шкал, примеры. Группы допустимых преобразований для основных типов шкал (наименований, порядка, интервалов, отношений, разностей, абсолютной). Требование устойчивости статистических и эконометрических выводов и заключений относительно допустимых преобразований шкал.
6. Сравнение трех видов средних (среднее арифметическое, мода, медиана) для зарплаты (доходов) работников предприятия. Определение средних величин по Коши.
7. Некорректность применения среднего арифметического в порядковой шкале. Теорема об описании средних, результат сравнения которых устойчив в порядковой шкале. Применения к рейтингам.
8. Средние по Колмогорову и описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений.
9. Необходимость проведения экспертных исследований. Примеры процедур экспертных оценок. Их использование в соревнованиях, при выборе наилучшего объекта экспертизы из представленных.
10. Обобщенный показатель (полезность) как функция частных показателей. Методы построения обобщенного показателя. Пример выбора места работы (из четырех предложенных). Экспертный выбор факторов. Экспертная оценка значений факторов для объектов экспертизы. Линейная свертка с коэффициентами, которые оценивают эксперты (часть присутствующих студентов).
11. Иерархическая схема оценки весовых коэффициентов для групповых и единичных показателей. Сопоставление упорядочений мест работы с весами и без весов. Критика описанного подхода на основе анализа реальных предложений по процедуре выбора технологии уничтожения химического оружия. Недостатки экспертных методов непосредственного определения коэффициентов весомости. Экспертно-статистический метод и его реализация с помощью метода наименьших квадратов.
12. Проблема получение итогового мнения комиссии экспертов. Пример упорядочения дней недели по субъективной «тяжести» на основе экспертных оценок (кластеризованных ранжировок), полученных от части присутствующих на лекции студентов. Метод средних арифметических рангов. Его некорректность в большинстве экспертных исследований, вытекающая из теории измерений. Метод медианных рангов. Проблема согласования кластеризованных ранжировок.
13. Применение экспертных оценок при распределении финансирования. Роль регламента при проведении Военных советов в Российской империи. Военный совет в Филях как пример экспертной процедуры и роли ЛПР. Метод Дельфи. Мозговой штурм. Экологические экспертизы. Метод сценариев.
14. Основные этапы проведения экспертного исследования.
15. Формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.).
16. Формирование состава экспертной комиссии: методы списков (реестров), "снежного кома", самооценки, взаимооценки. Проблема априорных предпочтений экспертов.
17. Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений). Сочетание различных методов экспертного оценивания.
18. Бинарные отношения на конечном множестве. Рефлексивность, симметричность, транзитивность. Ранжировки (упорядочения), разбиения (отношения эквивалентности), толерантности. Бинарные отношения как ответы экспертов. Описание бинарных отношений матрицами из 0 и 1.
19. Расстояния, псевдометрики, показатели различия. Расстояние Кемени между бинарными отношениями. Другие расстояния в пространствах бинарных отношений. Медиана Кемени в пространствах бинарных отношений.
20. Оптимизационный подход к определению эмпирических средних в пространствах произвольной природы. Экстремальные свойства среднего арифметического и выборочной медианы. Нахождение эмпирического среднего как способ агрегирования мнений экспертов.
21. Расстояния и эмпирические средние в пространстве подмножеств конечного множества. Построение эмпирического среднего (итогового мнения комиссии экспертов) по правилу большинства.
22. Оптимизационный подход к определению теоретических средних в пространствах произвольной природы. Экстремальные свойства математического ожидания и теоретической медианы.
23. Случайные элементы в пространствах произвольной природы. Формулировки законов больших чисел в пространствах произвольной природы. Случай конечного пространства. Эпсилон-пятки и законы больших чисел в пространствах общей природы. Интерпретация законов больших чисел для нечисловых данных в терминах теории экспертного опроса.
24. Роль теории нечеткости при анализе гуманистической информации. Предыстория и работы Л.Заде. Нечеткие ответы экспертов. Определение и примеры нечетких множеств.
25. Операции над нечеткими множествами и их свойства. Связь нечетких множеств со случайными. Нечеткие эконометрические модели. Расстояния между нечеткими множествами. Усреднение нечетких ответов экспертов.
26. Погрешности измерения и интервальные данные. Операции над интервальными числами и обоснование правил приближенных вычислений. Две формулы для выборочной дисперсии и их точность.
27. Основная модель интервальной статистики. Понятия нотны - максимально возможного отклонения, вызванного интервальностью статистических данных, и асимптотической нотны (при малой абсолютной погрешности).
28. Основные результаты статистики интервальных данных. Рациональный объем выборки. Расчет асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии.



Тематический план изучения дисциплины

№ п/п Наименование тем Аудиторные часы Самостоят. раб. Все-го час.
Лек-ции Практ. зан. Все-го
1 Методы анализа качественной информации как часть эконометрики 2 - 2 10 12
2 Теория измерений и средние величины 3 3 6 6 12
3 Экспертные технологии 5 5 10 12 22
4 Статистика бинарных отношений 4 6 10 8 18
5 Средние величины для нечисловых данных 4 2 6 6 12
6 Статистика нечисловых данных 6 6 12 10 22
7 Статистика интервальных данных 4 4 8 4 12
ИТОГО: 28 26 54 56 110


Программу разработал
профессор, доктор технических наук Орлов А.И.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ 1 сообщение ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 32


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB