Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Ср сен 23, 2020 6:37 am

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 10 ] 
Автор Сообщение
 Заголовок сообщения: Трансгрессия. Как считать?
СообщениеДобавлено: Вт май 16, 2006 8:23 pm 
Не в сети

Зарегистрирован: Вт май 16, 2006 8:13 pm
Сообщений: 5
Здравствуйте!
Я раньше никогда глубоко не занимался статистикой, а тут вдруг пришлось :( . Ответа на свой вопрос найти не могу нигде, поэтому рассчитываю на Вашу помощь.
Необходимо рассчитать показатель трансгрессии дл двух выборок. Если подробнее, то имеется ленский осетр и его гибрид с белугой (биолог я :( ). Так вот, число спинных жучек у одного 17-21, а у другого 19-25. Очевидно, что данные перекрываются на интервале 19-21. Необходимо рассчитать трансгрессию. Это наверное просто, только не силен я в высшей математике. Буду благодарен за ответ или ссылку на информацию по тематике. Спасибо.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт май 16, 2006 11:03 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9084
Термины "трансгрессия", соответственно "показатель (коэффициент) трансгрессии" встречаются в филологии, геологии, биологии, математике. В каждой области имеют свой смысл.
Надо выяснить, какой коэффициент от Вас ожидают.
Возможно, речь идет о статистике Крамера-Уэлча, используемой для проверки равенства математических ожиданий двух выборок. См. главу 4 учебника "Эконометрика" на нашем сайте.
Возможно, ожидают (21 - 19) / (25 - 17) = 2 / 8 = 0,25.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс май 21, 2006 1:33 pm 
Не в сети

Зарегистрирован: Вт май 16, 2006 8:13 pm
Сообщений: 5
Здравствуйте, профессор!
Спасибо за ответ, и извините, что пропал так на долго. Обстоятельства на работе.
Попробую уточнить вопрос. Есть методика по которой рассчитываются статистичиские показатели для породы рыб. Известно, что писал ее человек далекий от статистики, поэтому вопросов по ней очень много.

Привожу отрывок по трансгрессии:

Для оценки степени сходства или различий между двумя сравниваемымы выборками и для выявления из всех сравниваемых признаков информативных, применяется показатель трансгрессии (Т, %). Показатель трансгрессии (доля трансгрессирующих наблюдений в сумме двух сравниваемых распределений) определяется по формуле:
Т= n1[0,5+/-f(x1)]+n2[0,5+/-f(x2)]
n1+n2;
где x1= (Xcp2-3S2)-Xcp1
S1

x2= (Xcp1-3S1)-Xcp2
S2

n1, n2 - общее число наблюдений в первом и втором распределении (выборке);
f(x) - вторая функция нормированного отклонения


В принципе кое-что понятно, но вот выражение "вторая функция нормированного отклонения" меня смущает. Не могли бы Вы объяснить как это переварить или дать ссылку где все это объясняется.
Простите за сумбурность и еще раз спасибо.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс май 21, 2006 3:23 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9084
Тут несколько уровней непонятности.
1. Как считать? Что означает запись "+/-" ? Что такое "вторая функция"?
Нормированные отклонения - это, видимо, х1 и х2.
"Вторая функция" должна быть описана в методике.
2. Почему выбран именно такой коэффициент? Для решения какой задачи он предназначен?
3. Какой коэффициент является наилучшим для решения задачи, поставленной в п.2, с точки зрения современной прикладной статистики?

Подобные формулы мне не встречались. Возможно, что-то есть в учебниках по биометрии, например, у Лакина. Попробуйте задать вопрос Василию Леонову:
http://www.biometrica.tomsk.ru/


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср окт 24, 2007 2:15 pm 
Не в сети

Зарегистрирован: Ср окт 24, 2007 1:55 pm
Сообщений: 2
Откуда: Киев
Термин "трансгрессия" в биологическом понимании Лакина, у которого встречается приведенная формула, в корне отличается от понимания у генетиков. Лакин под трансгрессией понимает площадь "перекреста" двух рядов нормальных распределений. Генетики же под трансгрессией разумеют преобладание (+трансгрессия) или уступание (-трансгрессия) в степени выраженности количественного признака гибрида в сравнении с родительскими формами.
Исходя из того, что оценивается трансгрессия признака у гибрида, возможно предположить о генетическом понимании термина "трансгрессия". А это уже совсем другая статистика... :)


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср окт 24, 2007 8:59 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9084
Распределения реальных результатов наблюдений практически всегда не являются нормальными.
Поэтому тот, кто рассчитывает площадь фигуры под двумя плотностями нормальных распределений, демонстрирует свою некомпетентность.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт окт 25, 2007 11:50 am 
Не в сети

Зарегистрирован: Ср окт 24, 2007 1:55 pm
Сообщений: 2
Откуда: Киев
Полностью согласен с Вами, профессор. И первоначальный этап обработки эмпиричных данных, включающий себя тест на нормальность распределения, давно в современной биостатистике стал притчей во языцех. Но дремучесть в этом аспекте наших советских и постсоветских биологов, которые обрабатывают данные исследований, до сих пор остается приблизительно такой же, что и 10, 20 да и 50 лет назад, несмотря на многочисленные критические публикации по этому поводу (в том числе и Василия Леонова, например).
«Биометрия» Лакина выданная в 1990 году, до сих пор остается, насколько мне известно, основным и чуть ли не единственным учебным пособием при преподавании прикладной (хочу подчеркнуть, именно прикладной) статистики на биофаках вузов России и Украины. Поэтому этот автор в данной среде является довольно авторитетным, и когда биологу нужно «что-то там посчитать» :) , он сразу же берет в руки именно это издание и использует как методическое пособие.
Раздел VI.5 «Оценка трансгрессии рядов» на странице 150 Лакин начинает буквально следующими словами:
«При распределении независимость выборок, взятых из разных генеральных совокупностей, нередко случается, что некоторая часть членов этих выборок оказывается в одних и тех же классах вариационного ряда. Такие ряды, у которых часть классов оказывается общей (несмотря на то что между средними арифметическими этих рядов может быть статистически достоверная разница), называют трансгрессирующими, а сам факт неполного разобщения вариационных рядов и их графиков – трансгрессией.
Вариационные кривые трансгрессирующих рядов выглядят так, что правая сторона одной кривой и левая сторона другой взаимно проникают друг в друга, так что под ними образуется часть общей площади в системе прямоугольных координат, показывающая величину трансгрессии.»
Таким образом автор определяет понятие «трансгрессия» как площадь "перекреста" двух рядов нормальных распределений, как это было сформулировано мной на форуме. Далее Лакин предлагает способ расчета величины трансгрессии как отношение суммы трансгрессирующих вариант к общей численности обеих выборок, выраженное в процентах. Сам же автор критически относится к этому способу, предлагая другой, теоретически более обоснованный, и пишет буквально следующее:
«Понятно, что этот способ измерения величины трансгрессии не точен и дает лишь приблизительное представление о ее размере. Более точно рассчитать величину трансгрессии Tr для нормально распределяющихся совокупностей можно с помощью следующей формулы: Tr=(n1P1+n2P2)/(n1+n2), где n1 и n2 – объемы сопоставляемых распределений; Р1=0,5+0,5Ф(t1) и Р2=0,5+0,5Ф(t2). Здесь t1=(min2-X1средн)/s1 и t2=(max1-X2средн)/s2, а min2= X2средн-3s2 и max1= X1средн+3s1. …
… Значение функции Ф(t) приведены в табл. I Приложений; эти значения нужно брать с отрицательным знаком, если min2> X1средн и max1< X2средн, т.е. исходить из Р=0,5-0,5Ф(t).»
Таким образом, вышеизложенный способ имеет ограничения нормальности распределений, а в таблице I Приложений приведены значения интеграла вероятностей для разных значений t, которые используются при аппроксимировании этих нормальных распределений.
Когда я говорил о генетическом понимании трансгрессии, то имел в виду явление, имеющее ценность, в основном, для селекции. А именно, при получении гибридов путем скрещивания исходных родительских форм оценивают частоту гибридов с преобладанием (+трансгрессия) выраженности уровня количественного признака в сравнении с одним из родителей или с обоими, или со средним значением обоих родительских форм. В полученной гибридной популяции далеко не все гибриды преобладают по выраженности признака над родителями, но в случае селекции на повышении продуктивности именно +трансгрессивные гибриды представляют ценность для последующих этапов селекции, и именно их отбирают для будущей работы. Исходя из этого, частота трансгрессии (+ или -, смотря в каком направлении ведется отбор) есть неким критерием успешности селекционного процесса – в случае повышения продуктивности, чем больше +трансгрессивных гибридов, тем более результативной будет работа селекционера. К тому же, случай преобладания степени выраженности количественного признака гибрида над уровнями обеих родителей (не среднем их, а именно преобладание отдельно над каждым родителем) в генетике и селекции называют гетерозисом – явление очень ценное в современной прикладной генетике и селекции.
Резюмируя вышеизложенное, хочу отметить, что автору данной темы форума нужно определится, что именно понимается в его случае под «трансгрессией» и, исходя из этого, выбрать математический аппарат для ее определения. Исходя из моего многолетнего личного опыта аналитической работы и преподавания биостатистики студентам, правильный выбор подходящей математической модели для анализа эмпирических данных – это первый шаг, где они делают непростительную ошибку и двигаются в совсем статистически необоснованном направлении. Хотя в идеале экспериментатор, определившись с тематикой и планом исследований, должен, исходя из теории планирования эксперимента, разработанной еще уважаемым Р.Фишером, понять, какой вид матапарата в его случае наиболее подходит, и под существующие ограничения этого вида матапарата проводить свои исследования, включая схему эксперимента, способ рандомизации, количество повторений, размеры выборок и т.д.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт окт 26, 2007 7:34 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9084
1. Еще в молодости я видел учебник Лакина примерно 1970 г., а написан он, видимо, еще раньше, в 50-60-е. С тех пор переиздается. Очевидно, что устарел.

2. В прикладной статистике актуальна проблема внедрения новых методов и изгнания устаревших. Об этом много на наших форуме и сайте.
См., например, тему "Профессора-невежды готовят себе на смену новых невежд" http://forum.orlovs.pp.ru/viewtopic.php?t=548

3. Если по существу, то речь идет об измерении различия двух распределений. Ясно, что это можно делать по-разному. Можно взять статистику Смирнова, а можно - типа омега-квадрат (Лемана-Розеннблатта) (см. главу 4 "Эконометрики" http://orlovs.pp.ru/econ.php#ek1 ).
Приведенная в предыдущем посте формула напоминает вероятность правильной классификации (см. пп.5.3-5.4 там же). Такой показатель различия плох лучше брать оценку расстояния Махаланобиса (там же).


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс дек 16, 2007 1:59 pm 
Не в сети

Зарегистрирован: Вт май 16, 2006 8:13 pm
Сообщений: 5
Здравствуйте снова.
Перешел по сохранившейся ссылке и увидел что тему поднимали еще раз.
По поводу вопроса хочу сказать что все закончилось благополучно. Всю информацию я нашел и оказалось все не так сложно. Требовалось именно то, о чем писал Biostatistik. Т.е. перекрывание площадей нормального распределения. Информация нашлась в книге Плохинского "Биометрия". Кстати, считаю его более подходящим для изучения, чем Лакина. Тем не менее, спасибо за участие!
Хотя я писал в первом посте, что не претендую на звание статистика, и занимаюсь ей от случая к случаю на довольно простеньком уровне, хотелось бы написать несколько строк в свое оправдание.
Ситуация такая:
При описании новых видов или пород, от авторов федеральной комиссией требуется ряд данных. В том числе и статистически обработанные показатели признаков (длина тела, ширина, кол-во чешуек в боковой линии и т.д.). Для гибридов одним из этих показателей должна быть трансгрессия признаков с родительскими видами, рассчитанная именно таким методом про который писал Biostatistik.
Поэтому, к сожалению, у меня не стоял вопрос о выборе или правильности/неправильности методов. От меня требовалось рассчитать трансгрессию вышеуказанным методом. Поэтому упрек в некомпетентности, на мой взгляд, был не совсем заслуженным.
Последние посты довольно интересные. Согласен с вами обоими, что изначальное моделирование эксперименов это самый важный момент всей работы. Но есть также и некоторые проблемы. Поскольку иногда приходится дрессировать студентов, которые проходят у нас производственную практику, этот вопрос мне небезынтересен. Часто ловлю себя на мысли, что не знаю как правильно поставить тот или иной опыт, как правильно интерпретировать полученные данные. Как практик-сельскохозяйственник могу сказать, что очень много методов и подходов разработаные кабинетными теоретиками не учитывают специфику работы в конкретных условиях.
Вот и получается в большинстве случаев такой замкнутый круг. Теоретики придумывают заумные, но малопригодные методы, а практики не знают как грамотно организовать постановку экспериментов.

Цитата:
экспериментатор, определившись с тематикой и планом исследований, должен, исходя из теории планирования эксперимента, разработанной еще уважаемым Р.Фишером, понять, какой вид матапарата в его случае наиболее подходит, и под существующие ограничения этого вида матапарата проводить свои исследования, включая схему эксперимента, способ рандомизации, количество повторений, размеры выборок и т.д.

Не могу не согласиться.
Имею в своей библиотеке Доспехова "Методика полевого опыта", но тоже далеко не идеальная книга, к сожалению.И в связи с этим буду признателен за любой материал по теории планирования эксперимента.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс дек 16, 2007 2:10 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 9084
Упрек в некомпетентности относится к "федеральной комиссии":
Цитата:
При описании новых видов или пород, от авторов федеральной комиссией требуется ряд данных. В том числе и статистически обработанные показатели признаков (длина тела, ширина, кол-во чешуек в боковой линии и т.д.). Для гибридов одним из этих показателей должна быть трансгрессия признаков с родительскими видами, рассчитанная именно таким методом про который писал Biostatistik.

Невежд надо гнать из "федеральной комиссии".


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB