Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Пт июн 23, 2017 10:08 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 7 ] 
Автор Сообщение
 Заголовок сообщения: О развитии экспертных технологий в нашей стране
СообщениеДобавлено: Вс дек 06, 2009 4:07 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 6995
О развитии экспертных технологий в нашей стране

А.И. Орлов

Дан анализ развития экпертных оценок в нашей стране в послевоенные годы. Приведены основные идеи и публикации, позволяющие выявить движущие силы развития в этой перспективной научно-практической области.

В настоящее время не существует научно обоснованной общепринятой классификации методов и технологий экспертных оценок и тем более - однозначных рекомендаций по их применению. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы неформального научного коллектива вокруг комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика», организованной в 70-х годах. Статья подготовлена в рамках методологии, созданной этим научным коллективом.
Классические методы экспертных оценок. Экспертные оценки активно использовались с незапамятных времен. После Второй мировой войны в рамках мощного научного движения, на знаменах которого сверкали модные 50 лет назад термины «кибернетика», «исследование операций», «системный подход», выделилась самостоятельная научно-практическая дисциплина – экспертные оценки. Сложились методы сбора и анализа экспертных оценок, которые мы сейчас называем классическими. В 60-70-е гг. они освоены в нашей стране, доработаны и успешно применены. И только потом, в 70-е гг., начались активные самостоятельные научные исследования, была сформирована полностью оригинальная отечественная научная школа в области экспертных оценок. Нашей стране принадлежит мировой приоритет в целом ряде направлений, о некоторых из которых речь пойдет ниже.
Вполне естественно, что сначала в нашей стране появились публикации о классических методах экспертных оценок (см., например, [1-3]). Речь идет о простейших методах, не требующих развитого математического аппарата.
С одной стороны, такие публикации были полезны, позволив широким массам специалистов познакомиться с основными идеями экспертных оценок. До сих пор классические методы активно используются в практической работе и излагаются в учебной литературе.
С другой стороны, как обычно бывает во многих областях деятельности, первоначальные достаточно тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения более новых продвинутых результатов в области экспертных оценок, описанных, например, в работах [4-9].
Вспомним слова великого физика Макса Планка, создателя квантовой теории света: «Новая научная идея редко внедряется путем постепенного убеждения и обращения противников, редко бывает, что Савл становится Павлом. В действительности дело происходит так, что оппоненты постепенно вымирают, а растущее поколение с самого начала осваивается с новой идеей». Необычность рассматриваемой ситуации в области экспертных оценок состоит в том, что новые научные идеи появились всего через несколько лет после широкого распространения в нашей стране классических методов экспертных оценок. Но – головы возможных пользователей были уже оккупированы тривиальностями. В результате многие превосходные с научной точки зрения и высокоэффективные в приложениях результаты отечественных исследователей остаются малоизвестными, хотя получены еще в 70-е годы.
Центром исследований является всесоюзный (ныне всероссийский) научно-исследовательский семинар «Экспертные оценки и анализ данных». Он работает с 1973 г., сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В разные годы им руководили д.ф.-м.н. Ю.Н. Тюрин, д-ра техн. наук Б.Г. Литвак, А.И. Орлов, А.А. Дорофеюк, Ф.Т. Алескеров, Д.А. Новиков, Ю.В. Сидельников. В работе семинара участвовали сотни исследователей.
Научные результаты мирового уровня. Участники неформального научного коллектива участников семинара обычно начинали с освоения современных зарубежных идей, переходя затем к самостоятельным исследованиям, приводящим, как правило, к новым научным результатам мирового значения. Рассмотрим несколько сюжетов.
Так, освоив проблематику теории измерений, участники семинара перешли к изучению инвариантных алгоритмов. Основной полученный результат мирового уровня – характеризация средних величин шкалами измерения. Найдены необходимые и достаточные условия, выделяющие средние величины, результат сравнения которых инвариантен относительно допустимых преобразований в тех или иных шкалах. Цикл теорем о средних величинах – наиболее важное достижение в теории измерений, полученное в нашей стране.
В теории нечеткости также был получен принципиально важный результат мирового уровня – найден способ сведения теории нечетких множеств к теории случайных множеств. Это – основное отечественное достижение в теории нечеткости.
Большое влияние на развитие исследований в области экспертных оценок оказали работы американского математика Джона Кемени, прежде всего книга [10]. В ней был предложен подход к аксиоматическому введению расстояний между нечисловыми ответами экспертов (на примере упорядочений) и дан метод нахождения итогового мнения комиссии экспертов как решения оптимизационной задачи. Участники семинара по примеру Кемени построили аксиоматику для введения расстояний между различными объектами нечисловой природы. В обзоре [11] сведены вместе результаты более чем 150 исследований. В честь Дж. Кемени расстояния между элементами различных пространств бинарных отношений сейчас называют расстояниями Кемени, а введенные на их основе средние в этих пространствах – медианами Кемени.
Большое внимание уделялось различным вариантам парных и множественных сравнений. Если на Западе рассматривалась параметрическая теория (модели Льюса, Бредли-Терри, Терстоуна), то в нашей стране была построена не имеющая аналогов непараметрическая теория парных сравнений (люсианов), причем в асимптотике растущей размерности.
Итоги первого этапа работы семинара. В 70-е гг. было выпущено три сборника статей [12 - 14], содержащих научные труды участников семинара «Экспертные оценки и анализ данных». Эти сборники до сих пор являются актуальными, включенные в них работы содержат заметно более продвинутые научные результаты, чем публикации по «классическим методам экспертных оценок», поскольку последние опираются на идеи 40-60-х гг. Прошедшие десятилетия позволили более четко выявить смысл разработанных тогда подходов. Например, с современной точки зрения «дискретный анализ экспертных оценок» и «статистические методы» представляют собой не разные виды математических задач анализа экспертных данных, а последовательные этапы анализа одних и тех же данных, соответственно, начальный и опирающийся на вероятностно-статистические модели.
Полученные результаты были обобщены в ряде монографий, написанных руководителями и участниками семинара [15-18], и прежде всего в неоднократно изданном программном докладе пяти наиболее активных и продуктивных исследователей [19-20]. К сожалению, этот принципиально важный доклад не был развернут в подробную монографию. «Доклад пяти» – веха в развитии отечественных исследований в области экспертных оценок. Закончился период становления самостоятельной научно-прикладной дисциплины. К концу 70-х гг. экспертные оценки получили и организационное оформление – в рамках комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика».
Восьмидесятые годы. Научные исследования развивались вглубь и вширь. Регулярно выпускались сборники статей [21 - 24], проводились всесоюзные конференции [25 - 26]. Разумеется, работы по экспертным оценкам публиковались не только в изданиях семинара, но и во многих иных. Укажем для примера на работы руководителей семинара А.А. Дорофеюка [27] и Ю.В. Сидельникова [28], на монографии по многомерному шкалированию экспертных и иных данных [29, 30]. Авторы «доклада пяти» защитили докторские (Б.Г. Литвак, А.И. Орлов, Ю.Н. Тюрин) и кандидатские (Г.А. Сатаров, Д.С. Шмерлинг) диссертации.
Были выполнены многочисленные прикладные работы. В частности, разработаны комплексы нормативно-методических документов по экспертным методам управления качеством продукции (ГОСТы, методические указания и др.) и по экспертизе научно-исследовательских работ в медицине и биологии (методические рекомендации по проведению экспертной оценки планируемых и законченных научных работ в области медицины и по подготовке и проведению конкурса проектов исследований и разработок в области физико-химической биологии и биотехнологии).
Исследования по экспертным оценкам шли в тесном контакте с работами в области прикладной статистики и других статистических методов [31, 32], многокритериальной оптимизации [33, 34], математических методов в социологии [35] и т.п. В литературе экспертные оценки иногда выступают под теми или иными «псевдонимами». Например, академик РАН Н.Н. Моисеев в своих выдающихся научно-публицистических книгах [7, 36, 37] использовал термин «неформальные процедуры».
Статистика нечисловых данных. Основным отечественным достижением последней четверти ХХ в. в области статистических методов анализа данных является создание статистики нечисловых данных (в других терминах, нечисловой статистики, статистики объектов нечисловой природы). Ныне статистика нечисловых данных – одна из четырех основных областей прикладной статистики, наряду со статистикой числовых величин, многомерным статистическим анализом и статистикой временных рядов [31, 32].
Для нас важно, что именно необходимость разработки адекватных методов анализа экспертных мнений стимулировала развитие статистики нечисловых данных. Не случайно основополагающая статья [38], излагающая программу построения новой области статистики, опубликована в одном из первых сборников трудов семинара.
Кратко обсудим суть статистики нечисловых данных. Сначала напомним, что исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.
Примеры объектов нечисловой природы:
- значения качественных признаков, т.е. результаты кодировки объектов экспертизы с помощью заданного перечня категорий (градаций);
- упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов);
- классификации, т.е. разбиения объектов экспертизы на группы сходных между собой (кластеры);
- толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;
- результаты парных сравнений или контроля качества продукции по альтернативному признаку («годен» - «брак»), т.е. последовательности из 0 и 1;
- множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;
- слова, предложения, составленные из них тексты;
- векторы, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации (т.н. форма № 1-наука) или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный;
- ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.
Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств [16, 17].
С 70-х гг. в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались конкретные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели. Итоги подведены в монографии [16], в предисловии к которой впервые появился термин «статистика объектов нечисловой природы».
Следующий этап (80-е гг.) - выделение статистики нечисловых данных в качестве самостоятельной дисциплины, ядром которой являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Основные результаты коллективного труда подведены в сборнике научных работ [39]. Он подготовлен совместно подкомиссией «Статистика объектов нечисловой природы» комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика» и Институтом социологических исследований АН СССР.
К 90-м гг. статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 90-е гг. наступило время перейти от математико-статистических исследований к применению полученных результатов на практике. К этому периоду относится публикация большой серии статей в рамках раздела «Математические методы исследования» журнала «Заводская лаборатория» (основного места публикации в СССР и РФ работ по прикладной статистике), посвященных теории и практике нечисловой статистики.
В статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы.
Основные идеи статистики объектов нечисловой природы. В чем принципиальная новизна нечисловой статистики? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах объектов нечисловой природы.
Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.
Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим.
Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в статистике интервальных данных.
В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин. Известна роль непараметрических оценок плотности при построении бинарных рейтингов.
Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.
Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа).
Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида, поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с конечномерным пространством.
Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы, в частности, со статистикой нечетких множеств и со статистикой случайных множеств (напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств), с непараметрической теорией парных сравнений и бернуллиевских векторов (люсианов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, и с рядом других конкретных постановок. Применительно к экспертным оценкам важная роль конкретных методов статистики нечисловых данных продемонстрирована в большом числе литературных источников.
Современный этап развития экспертных оценок. С конца 80-х гг. число научных работников в нашей стране уменьшилось в разы. На порядок сократилось количество участников научных семинаров и конференций. Однако отечественная научная школа в области экспертных оценок успела достичь стадии зрелости и устояла. Этому способствовала и востребованность экспертных технологий во многих областях человеческой деятельности. Слово «эксперт» стало модным.
Зрелость научной области проявилась в том, что ведущие отечественные специалисты выпустили заметно большее число монографий, подводящих итоги исследования, чем в предыдущие десятилетия [40 - 49, 53, 54, 57]. Часто экспертные оценки рассматривались вместе с проблемами принятия решений [41-44]. Большое внимание уделялось проблеме выбора [45], в том числе в условиях многокритериальности [46]. Были проанализированы процедуры голосования в рамках комиссий экспертов [47].
Разделы, посвященные экспертным оценкам, включают в учебники по различным дисциплинам, в частности, по теории принятия решений [42 - 44], по эконометрике и прикладной статистике [31, 32]. Это свидетельствует о том, что теория и практика экспертных оценок вошла в «базовое ядро» знаний, которыми должны владеть инженеры, менеджеры, экономисты, специалисты в иных областях.
Поток новых идей, подходов, концепций, методологий, методов, конкретных постановок, моделей, теорем и алгоритмов в области экспертных оценок не только не иссякает, но год от году усиливается. Назовем некоторые из новшеств.
Теория организационных систем [48], прежде всего, теория активных систем [49], т.е. систем, элементы которых обладают собственными интересами и волей, позволяющей действовать независимо, нуждаются в развитии и применении современных методов экспертных оценок. Подходы теории активных систем особенно интересны для решения задач управления предприятиями и другими социально-экономическими структурами. Такой современный раздел менеджмента, как контроллинг [50, 51], немыслим без использования продвинутых методов экспертных оценок [52], реализованных на основе современных информационных технологий.
Принципиально важным является появление работ по экспертным технологиям [53, 54]. От разработки и изучения отдельных методов экспертных оценок осуществлен переход к разработке процедур, включающих все этапы технологического процесса сбора и анализа экспертной информации. Произошел качественный скачок – от отдельных инструментов интеллектуальной деятельности к целостным технологиям интеллектуальной деятельности. Аналогичный скачок осуществлен и в области статистических методов – появились высокие статистические технологии [31, 32, 55].
Из западных разработок наибольший интерес вызвал метод анализа иерархий Т. Саати [56]. От его недостатков удалось избавиться сотрудникам Института проблем управления им. В.А.Трапезникова. Они разработали метод векторной стратификации [57], согласно которому иерархическая структура показателей комплексного критерия формируется путем дихотомической конкретизации документированной формулировки цели.
Из недавно разработанных принципиально новых подходов укажем в качестве примера на метод согласования кластеризованных ранжировок [58]. «Турнирный» метод ранжирования вариантов впервые опубликован в 2005 г. Применению экспертных оценок для задач стратегического планирования посвящена работа [59]. Список легко продолжить. Мы ограничились здесь лишь наиболее заметными публикациями, в основном книжными.
Состояние и перспективы экспертных оценок неоднократно анализировались ведущими специалистами [60- 63]. Отмечалось, что перед исследователями – большое поле деятельности. Например, в [60] отмечалась актуальность разработки методов анализа интервальных экспертных оценок, в которых мнения экспертов выражены интервалами. Основой для разработки таких методов может послужить статистика интервальных данных, рассмотренная в [32, 44]. Однако теория интервальных экспертных оценок стоит лишь в начале своего пути, хотя ее перспективность очевидна.
Экспертным оценкам уделено большое внимание в основополагающей монографии по статистике нечисловых данных [64], в которой также приведен обширный список литературных источников по развитию экпертных оценок в нашей стране.

Литература

1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.
2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. Изд. 2, перераб. и доп. – М.: Статистика, 1980. - 264 с.
3. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. - М.: Экономика, 1974. - 151 с.
4. Бурков В.Н. Большие системы: моделирование организационных механизмов. - М.: Наука, 1989. - 354 с.
5. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 1975. - 64 с.
6. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987. - 143 с.
7. Моисеев Н.Н. Неформальные процедуры и автоматизация проектирования. - М.: Знание, 1979. - 64 с.
8. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.
9. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.: Наука, 1984. - 120 с.
10. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.
11. Раушенбах Г.В. // Анализ нечисловой информации в социологических исследованиях. – М.: Наука, 1986. С.169-203.
12. Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.
13. Экспертные оценки / Вопросы кибернетики. - Вып.58. - М.: Научный совет АН СССР по комплексной проблеме «Кибернетика», 1979. - 200 с.
14. Экспертные оценки в системных исследованиях/Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979. - 120 с.
15. Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. – 184 с.
16. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
17. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.
18. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. - М.: ВНИИММТИ Минздрава СССР, 1983. - 80 с.
19. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный совет АН СССР по комплексной проблеме «Кибернетика», 1981. - 80 с.
20. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. // Заводская лаборатория. 1980. Т.46. №10. С.931-935. – Переиздание – в сб.: Современные проблемы кибернетики: прикладная статистика. – М.: Знание, 1981, с.41-52.
21. Экспертные оценки в задачах управления /Сборник трудов. - М.: Институт проблем управления, 1982. - 106 с.
22. Анализ нечисловых данных в системных исследованиях/Сборник трудов. - Вып.10. - М.: ВНИИСИ, 1982. - 155 с.
23. Методы анализа данных, оценивания и выбора/Сборник трудов. - Вып.11. - М.: ВНИИСИ, 1984. - 92 с.
24. Методы анализа данных, оценивания и выбора в системных исследованиях/Сборник трудов. - Вып.14. - М.: ВНИИСИ, 1986. - 124 с.
25. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации/Тезисы докладов. - М.- Алма-Ата, ВИНИТИ, 1981. - 439 с.
26. Вторая Всесоюзная конференция по анализу нечисловой информации/ Тезисы докладов. - М.- Таллин: ВИНИТИ, 1984. - 348 с.
27. Дорофеюк А.А. // Статистика. Вероятность. Экономика. - М.: Наука, 1985. - С. 137 - 145.
28. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.
29. Терехина А.Ю. Анализ данных методами многомерного шкалирования. – М.: Наука, 1986. -168 с.
30. Перекрест В.Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. – Л.: Наука, 1983. – 176 с.
31. Орлов А.И. Эконометрика. Изд. 3-е, испр. и доп. – М.: Экзамен, 2004. -576 с.
32. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.
33. Гафт М.Г. Принятие решений при многих критериях. - М.: Знание, 1979. – 64 с.
34. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982. - 256 с.
35. Орлов А.И. // Социология: методология, методы, математические модели. 2005. №20. С.32-53.
36. Моисеев Н.Н. Математик задает вопросы… (Приглашение к диалогу). – М.: Знание, 1975. – 192 с.
37. Моисеев Н.Н. Математика ставит эксперимент. – М.: Наука, 1979. – 224 с.
38. Орлов А.И. // Экспертные оценки / Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме «Кибернетика», 1979. С.17-33.
39. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - 221 с.
40. Ларичев О.И. Выявление экспертных знаний. - М.: Наука, 1989. – 128 с.
41. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, 1996.- 208 с.
42. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 272 с.
43. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.-Ростов н/Д: МарТ; 2005. - 496 с.
44. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. – 576 с.
45. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов (основы теории). – М.: Наука, 1990.- 326 с.
46. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - М.: Физматлит, 2002. – 176 с.
47. Вольский В.И., Лезина З.М. Голосование в малых группах. Процедуры и методы сравнительного анализа. - М.: Наука, 1991. - 192 с.
48. Новиков Д.А. Теория управления организационными системами. - М.: МПСИ, 2005. – 584 с.
49. Бурков В.Н. Теория активных систем: состояние и перспективы. – М.: Синтег, 1999. – 128 с.
50. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, С.Г. Фалько. - М.: Финансы и статистика, 1998. - 256 с.
51. Хан Д. Планирование и контроль: концепция контроллинга: Пер. с нем. - М.: Финансы и статистика, 1997. - 800 с.
52. Орлов А.И. // Контроллинг. 2002. №1. С.42-53.
53. Литвак Б.Г. Экспертные технологии управления. 2-е изд. - М.: Дело, 2004.- 398 с.
54. Сидельников Ю.В. Технология экспертного прогнозирования: Учебное пособие. Изд. 2-е, исправл. – М.: Доброе слово, 2004. – 284 с.
55. Орлов А.И. // Заводская лаборатория. 2003. Т.69. №11. С.55-60.
56. Саати Т. Принятие решений. Метод анализа иерархий. – М.: Радио и связь, 1993. – 320 с.
57. Анохин А.М., Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. – М.: ИПУ РАН, 2003. – 79 с.
58. Горский В.Г., Гриценко А.А., Орлов А.И. // Автоматика и телемеханика. 2000. №3. С.179-187.
59. Применение экспертных оценок для задач стратегического планирования /Д.С. Шмерлинг, Т.Ю. Кузнецова, П.Ю. Чеботарев, Э.П. Чуркин. – М.: МШЭ МГУ ЦСП, 2008. – 36 с.
60. Орлов А.И. // Заводская лаборатория. 1996. Т.62. №1. С.54-60.
61. Литвак Б.Г. // Заводская лаборатория. 2000. Т.66. № 7. С. 61-66.
62. Дорофеюк А.А., Покровская И.В., Чернявский А.Л. // Автоматика и телемеханика. 2004. № 10. С.172-188.
63. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. – М.: Изд-во МАИ-ПРИНТ, 2007. – 348 с.
64. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт дек 28, 2010 3:36 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 6995
Публикация:

717. Орлов А.И. О развитии экспертных технологий в нашей стране. - Журнал «Заводская лаборатория». 2010. Т.76. No.11. С.64-70.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб май 07, 2011 6:53 pm 
Не в сети

Зарегистрирован: Сб май 07, 2011 6:40 pm
Сообщений: 2
Здравствуйте, мне интересна сравнительная разница методов нечетких множеств, метода векторной стратификации и метода анализа иерархий, в чем их индивидуальность каждого!?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб май 07, 2011 8:34 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 6995
На форуме много не расскажешь.
Читать надо.
О нечетких множествах много написано. Для начала можно познакомиться с разделами о нечетких множествах в учебниках "Эконометрика", "Экспертные оценки" и др.
Метод векторной стратификации изложен в работе:
Анохин А.М., Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. – М.: ИПУ РАН, 2003. – 79 с., а также в других работах тех же авторов (лаб.43 ИПУ РАН) - см., например,
http://ubs.mtas.ru/upload/library/UBS2602.pdf
А вот метод анализа иерархий Саати некорректен http://forum.orlovs.pp.ru/viewtopic.php?t=1196 , его изучать не надо.

Наши Интернет-ресурсы: сайты с книгами и статьями в открытом доступе:
«Высокие статистические технологии» http://orlovs.pp.ru/ ,
«Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана» http://ibm.bmstu.ru/nil/biblio.html ,
еженедельник «Эконометрика» http://subscribe.ru/catalog/science.hum ... onometrika
Конкретные вопросы, связанные с нашей деятельностью, можно обсудить на форуме http://forum.orlovs.pp.ru/
Персональная страница на сайте МГТУ им.Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/
Википедия: http://ru.wikipedia.org/ статья «Орлов, Александр Иванович (учёный)»


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт май 10, 2011 3:52 pm 
Не в сети

Зарегистрирован: Сб май 07, 2011 6:40 pm
Сообщений: 2
Огромное Вам спасибо за очень интересную и познавательную информацию


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: О развитии экспертных технологий в нашей стране
СообщениеДобавлено: Сб май 18, 2013 12:54 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 6995
804. Новиков Д.А., Орлов А.И. Экспертные оценки – инструменты аналитика. - Журнал «Заводская лаборатория. Диагностика материалов». 2013. Т.79. No.4. С.3-4.

Экспертные оценки – инструменты аналитика

Для применения математических методов исследования, независимо от области их применения, нужны исходные данные. Есть два общих пути их получения – объективные результаты измерений, наблюдений, испытаний, анализов, опытов и субъективные мнения высококвалифицированных экспертов. Необходимость и целесообразность разработки и применения методов сбора и анализа экспертных оценок доказана практикой. Например, проведенное в начале 1960-х годов экспертное исследование позволило предсказать момент высадки человека на Луну с точностью до месяца.
В разделе «Математические методы исследования» нашего журнала опубликовано много статей по новым методам экспертных оценок. Вскоре после того, как в 1973 г. был организован ведущий в нашей стране научный семинар «Экспертные оценки и анализ данных» (работал в МГУ им. М.В. Ломоносова, а сейчас работает в Институте проблем управления РАН), появилась программная статья Ю.Н. Тюрина, Б.Г. Литвака, А.И. Орлова, Г.А. Сатарова, Д.С. Шмерлинга «Анализ нечисловой информации» (1980/10 - здесь и далее приводим ссылки на год и номер журнала, в котором опубликована соответствующая статья), предсказавшая и во многом определившая развитие теории и практики экспертных оценок в нашей стране на десятилетия вперед. Состояние работ в этой области проанализировано в обзорах Б.Г. Литвака (1940-2012) «Экспертиза в России» (2000/7) и А.И. Орлова «О развитии экспертных технологий в нашей стране» (2010/11).
Экспертные оценки – не только инструмент решения конкретных прикладных задач. Это – быстро развивающаяся научная область. Потребности теории и практики экспертных оценок стимулировали разработку новой парадигмы прикладной статистики (2012/1), создание центральной области современных статистических методов – статистики объектов нечисловой природы (2009/5). Развитие информационно-коммуникационных технологий позволило разработать и внедрить новую область экспертных оценок – сетевую экспертизу [1]. Модификация известного в теории экспертиз метода фокальных объектов, как показал Ю.В. Сидельников, дает новые возможности в творчестве (2012/1).
Эксперты дают оценки в различных шкалах измерения, прежде всего в порядковых, а также в вербальной форме. Поэтому значительная часть публикаций посвящена методам анализа нечисловых экспертных данных. В разделе «Математические методы исследований» помещен обзор Б.В. Барского и М.В. Соколова «Средние величины, инвариантные относительно допустимых преобразований шкалы измерения» рядом со статьей А.И. Орлова «Математические методы исследования и теория измерений» (2006/1), в которой выделены основные результаты в рассматриваемой области. (Репрезентативная теория измерений была проанализирована ранее в статьях Ю.Н. Толстовой и А.И. Орлова (1999/3).) Уточнению с помощью измеряемых данных экспертных оценок, выставленных в ранговых шкалах, посвящена статья В.В. Стрижова (2011/7). Использование медианы экспертных оценок (вместо среднего арифметического) обсуждается в работе Н.А. Цейтлина «Среднемедианный показатель положения выборки экспертных оценок» (2010/7). Методы визуального представления тесноты связей рассмотрел М.Б. Лагутин (2005/7). Квантификации предпочтений, выраженных в вербальной форме, посвящена статья И.Ф. Шахнова (2013/1).
Продолжается разработка новых математических моделей получения, анализа и применения экспертных оценок. Так, В.Б. Файн и М.В. Дель предложили «турнирный» метод ранжирования вариантов, а А.И. Орлов в том же номере журнала дал его теоретическое обоснование (2005/7). Опыту практической работы посвящена статья Г.Г. Крушенко с соавторами «Анализ дефектности отливок методом экспертных оценок» (2000/5).
Экспертные оценки – важнейшая составная часть методов принятия решений, в частности, управления рисками и прогнозирования. Обзор О.В. Пугача «Математические методы оценки рисков» публикуется в одном из ближайших номеров. Приведем пример применения экспертных оценок в Группе компаний «Волга-Днепр», осуществляющих нестандартные грузоперевозки на самых мощных в мире самолетах АН-124 «Руслан» и являющейся мировым монополистом в этой области. В ходе разработки автоматизированной системы прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок экспертные опросы летного состава (всего около 20000 экспертных оценок) позволили получить исходные данные для деревьев событий и других математических моделей, предназначенных для оценки эффективности управленческих решений при создании систем обеспечения безопасности сложных технических систем. Статья «Математические методы оценки эффективности управленческих решений» С.А. Хрусталева, А.И. Орлова, В.Д. Шарова, содержащая результаты этого исследования, публикуется в этом году. К теории принятия решений примыкают, в частности, работа Д.Б. Зотьева по определению весовых коэффициентов на основании экспертных оценок (2011/1), исследование Н.А. Цейтлина «Рациональная экспертная оценка знаний учащихся» (2010/11), статья И.Ф. Шахнова «Некоторые модели квалиметрического анализа многофакторных объектов с бинарными факторами» (2005/5).
Отметим, что именно авторами раздела Б.Г. Литваком, А.И. Орловым, Ю.В. Сидельниковым опубликованы основные отечественные монографии и учебники по теории и практике экспертных оценок [2-4].
Современные экспертные оценки предоставляют эффективные инструменты для решения прикладных задач во многих предметных областях, являются источником дальнейших исследований. Раздел «Математические методы исследования» – один из основных отечественных центров публикации работ по этой тематике.

ЛИТЕРАТУРА

1. Сетевая экспертиза / Под ред. Д.А. Новикова, А.Н. Райкова. – М.: Эгвес, 2010. – 168 с.
2. Литвак Б. Г. Экспертные технологии в управлении. – М.: Дело, 2004. - 400 с.
3. Орлов А. И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
4. Сидельников Ю. В. Системный анализ экспертного прогнозирования. - М.: МАИ. 2007. - 453 с.

Член-корр. РАН Д.А. Новиков,
докт. техн. наук, докт. экон. наук А.И. Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: О развитии экспертных технологий в нашей стране
СообщениеДобавлено: Вт май 03, 2016 8:02 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 6995
Следующая публикация:
Орлов А.И. Теория экспертных оценок в нашей стране // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. № 93. С. 1-11.
– Режим доступа: http://ej.kubagro.ru/2013/09/pdf/114.pdf


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB