Проверка гипотез проводится с помощью статистического анализа. Статистическую значимость находят с помощью Р-значения, которое соответствует вероятности данного события при предположении, что некоторое утверждение (нулевая гипотеза) истинно. Если Р-значение меньше заданного уровня статистической значимости (обычно это 0,05), экспериментатор может смело заключить, что нулевая гипотеза неверна, и перейти к рассмотрению альтернативной гипотезы. С помощью t-критерия Стьюдента можно вычислить Р-значение и определить значимость для двух наборов данных.
Часть 1
Постановка экспериментаОпределите свою гипотезу. Первый шаг при оценке статистической значимости состоит в том, чтобы выбрать вопрос, ответ на который вы хотите получить, и сформулировать гипотезу. Гипотеза - это утверждение об экспериментальных данных, их распределении и свойствах. Для любого эксперимента существует как нулевая, так и альтернативная гипотеза. Вообще говоря, вам придется сравнивать два набора данных, чтобы определить, схожи они или различны.
Установите уровень значимости, чтобы определить, насколько распределение данных должно отличаться от обычного, чтобы это можно было считать значимым результатом. Уровень значимости (его называют также α {\displaystyle \alpha } -уровнем) - это порог, который вы определяете для статистической значимости. Если Р-значение меньше уровня значимости или равно ему, данные считаются статистически значимыми.
Решите, какой критерий вы будете использовать: односторонний или двусторонний. Одно из предположений в t-критерии Стьюдента гласит, что данные распределены нормальным образом. Нормальное распределение представляет собой колоколообразную кривую с максимальным количеством результатов посередине кривой. t-критерий Стьюдента - это математический метод проверки данных, который позволяет установить, выпадают ли данные за пределы нормального распределения (больше, меньше, либо в “хвостах” кривой).
Определите объем выборки с помощью статистической мощности. Статистическая мощность исследования - это вероятность того, что при данном объеме выборки получится ожидаемый результат. Распространенный порог мощности (или β) составляет 80%. Анализ статистической мощности без каких-либо предварительных данных может представлять определенные сложности, поскольку требуется некоторая информация об ожидаемых средних значениях в каждой группе данных и об их стандартных отклонениях. Используйте для анализа статистической мощности онлайн-калькулятор, чтобы определить оптимальный объем выборки для ваших данных.
Часть 2
Вычислите стандартное отклонениеЗапишите формулу для стандартного отклонения. Стандартное отклонение показывает, насколько велик разброс данных. Оно позволяет заключить, насколько близки данные, полученные на определенной выборке. На первый взгляд формула кажется довольно сложной, но приведенные ниже объяснения помогут понять ее. Формула имеет следующий вид: s = √∑((x i – µ) 2 /(N – 1)).
Найдите среднее значение в каждой группе. Чтобы вычислить стандартное отклонение, необходимо сначала найти среднее значение для каждой исследуемой группы. Среднее значение обозначается греческой буквой µ (мю). Чтобы найти среднее, просто сложите все полученные значения и поделите их на количество данных (объем выборки).
Вычтите из среднего каждое полученное значение. Следующий шаг заключается в вычислении разницы (x i – µ). Для этого следует вычесть из найденной средней величины каждое полученное значение. В нашем примере необходимо найти пять разностей:
Возведите в квадрат каждую полученную величину и сложите их вместе. Каждую из только что найденных величин следует возвести в квадрат. На этом шаге исчезнут все отрицательные значения. Если после данного шага у вас останутся отрицательные числа, значит, вы забыли возвести их в квадрат.
Поделите на объем выборки минус 1. В формуле сумма делится на N – 1 из-за того, что мы не учитываем генеральную совокупность, а берем для оценки выборку из числа всех студентов.
Извлеките квадратный корень. После того как вы поделите сумму на объем выборки минус один, извлеките из найденного значения квадратный корень. Это последний шаг в вычислении стандартного отклонения. Есть статистические программы, которые после введения начальных данных производят все необходимые вычисления.
Часть 3
Определите значимостьРассчитайте дисперсию между двумя группами данных. До этого шага мы рассматривали пример лишь для одной группы данных. Если вы хотите сравнить две группы, очевидно, следует взять данные для обеих групп. Вычислите стандартное отклонение для второй группы данных, а затем найдите дисперсию между двумя экспериментальными группами. Дисперсия вычисляется по следующей формуле: s d = √((s 1 /N 1) + (s 2 /N 2)).
Как определить свою значимость?
Пару недель назад меня в ЛС попросили описать то, как определить свою значимость в отношениях.
Напомню определение значимости, на мой взгляд:
Значимость - ключевой фактор влюбления девушки в парня. Без неё отношений не получится (исключая меркантильность или расчёт). Что это? Это, во-первых, оценка человека привлекательным с точки зрения инстинктов: сексуальность, внешность, физическая мощь, психическое давление, лидерское поведение, популярность, власть и положение, ресурсы. Во-вторых, это личная оценка человека со своей стороны: интересно (т.е сколько в его обществе испытываешь приятных гормонов) ли с человеком, есть ли между вами химия, степень соответствия с внутренним идеалом партнёра, количество затраченных ресурсов (времени, мыслей, денег, эмоций, так как чем больше вложил - тем более дорог - тем выше значимость).
И дам самое важное правило калибровки:
"Отталкивать в выводах нужно от действий и поведения человека, а не от слов, пусть даже эти слова звучат в унисон со слезами."
Объективную значимость (ОЗ) определить довольно просто. Достаточно запросить оценку со стороны, потому что оценка самого себя часто бывает занижена либо завышена.
В длительных отношениях (от 3-х месяцев) ключевую роль начинает играть субъективная значимость (СЗ). На основе чего конкретно ваша СЗ для партнёра нарабатывается определить очень непросто и даже сам партнёр не часто осознает, почему же его к вам "тянет". Тянуть может даже из-за ваших, вроде бы, недостатков. Возможно, внешность в карту, совместные увлечения, сексуальный темперамент, общие недостатки, темы для разговора, понимание с полу слова и т.п. Это довольно абстрактные вещи, поэтому опираться в суждениях на них не стоит.
Оценивать свою значимость в глазах партнёра необходимо исходя из факторов реального взаимодействия между вами:
1. Ресурсные вложения в вас и ваши отношения:
2. Инициатива к ресурсообмену.
Между вам должен быть баланс в количестве инициативы, особенно после периода соблазнения, когда инициатива была часто лишь за парнем. Другой партнёр может всегда с радостью принимать вашу инициативу, но проявление и принятие - это разные вещи. Если есть значимость, то стремишься к кооперации и синергии, поэтому инициатива должна идти с обеих сторон отношений. Ситуация, где только вы звоните/пишите/приглашаете/вспоминаете/организовываете, а другая сторона лишь принимает и отвечает - свидетельствует о дисбалансе либо о комплексах/страхах другого человека.
3. Совместное развитие.
4. Эволюция.
Отношения - живое существо, и для них естественна эволюция. Если эволюции нет, то есть из СО в ЛТР, из ЛТР в ЛТРсб, из ЛТРсб в официальный брак, рождение детей, улучшение жилищных условий и всё прочее, то, скорее всего, для одного из партнёров вы не тот партнёр ради которого хочется стремиться к такому развитию. А может вы просто временный вариант. А может сам партнёр не хочет, не взирая на ваше "хочу".
5. Открытость.
Здесь всё, конечно, зависит от типа отношений и личных тараканов участников. Однако в качественных отношениях, партнёры открыто знакомят вас с друзьями, затем через какое-то время посещают с вами в паре важные для них мероприятия, а потом и с родителями знакомят. Судорожное скрытие ваших отношений в виртуальном пространстве (но, конечно, и афишировать не обязательно), оттягивание знакомств с кругом общения/семьёй говорит о том, что что-то идёт не так.
6. Личные границы.
У меня есть ценная запись по этому пункту: " .". В здоровых отношениях есть цели, формат, правила, обязанности, взаимовыручка, то есть все признаки того, что люди создали совместную ячейку общества для более эффективной жизни и кооперации. При этом каждый партнёр самодостаточен в адекватной мере и уважает право другого партнёра на иные увлечения, личные цели, присутствие других людей и пр. Полное безразличие или тотальный контроль - сигнализируют о том, что ваша значимость на нуле либо сравнимо со значимостью дорогой вещи, которая удовлетворяет потребности, но никак не на уровне любимого человека.
7. Флирт, измены и прочее.
Если вы значимы, то фокусировка обоих партнёров будет идти на вас и ваших отношениях. Полное отсутствие флирта на стороне - утопия. Однако, когда другой партнёр начинает ресурсно вкладываться в другого человека, когда у вас отношения, то есть встречаться - то это уже говорит о том, что он не боится потерять или в поиске лучшего варианта. Про измены даже говорить не буду, итак понятно, что если была измена, то один из партнёров поставил на кон всё, что было между вами и наплевал на это.
Подведём итоговый чек-лист.
Признаки низкой значимости:
Индивида окружает множество находящихся от него на различном расстоянии объектов живой и неживой природы. Если вычесть из их числа те, которые ему неизвестны, а также те, которые ему не нужны, останутся только те, которые нужны, значимые для него.
Значимость (чего-либо) - мера жизненной необходимости (этого) . И мера вероятности затруднения или прекращения жизни в случае отсутствия, дефицита (этого). Объект обретает актуальную значимость, как только он становится предметом какой-либо потребности. Чем важнее потребность, тем выше значимость ее предмета (объекта).
Значимость (объекта процесса, явления) - качество динамичное : сегодня это мне нужно «позарез», а завтра, быть может, не нужно вовсе. Следовательно, важную роль здесь играет фактор времени. Важен и фактор пространства: если нечто, в принципе подходящее для удовлетворения моей потребности, для меня недосягаемо, значимость этого для меня может снижаться.
Субъективность оценки - существенный ее недостаток: так можно упустить нечто важное из свойств оцениваемого объекта, а это, в свою очередь, создает основания для пренебрежения его собственными, внутренними закономерностями.
Значимость имеет индивидуальный и видовой аспекты: совокупность всех значимых для человечества (т.е. человека как вида) объектов много больше, чем совокупность всех значимых для индивида. При этом у животных индивидная значимость чего-либо почти полностью совпадает с видовой, а у человека - нет: в процессе своего развития наш вид сумел реализовать в широкой мере процесс индивидуализации своих представителей.
Итак, значимость это :
Виды значимости. Значимость может быть:
Объекты, необходимые в плане удовлетворения потребностей человека, образуют целые значимостные цепочки, где каждое звено оценивается и само по себе, и в свете целого. Важную роль играют изменения, происходящие с самим человеком, и одно из самых главных - в связи с этапами его жизненного пути. Для ребенка значимо одно, для взрослого - другое.
Выгода - мера значимости объекта или способа взаимодействия с ним с точки зрения степени вероятности удовлетворения потребности. Выгода может иметь большое число характеристик как количественных, так и качественных. Одна из ипостасей выгоды - прибыль.
Значимость (чего-либо) индивид находит (определяет) и переживает Способом выявления значимости является оценка, способом проявления уже найденной благодаря оценке значимости является отношение и связанное с ним поведение: по тому, к чему и как человек относится, можно понять, что именно и в какой мере для него значимо. Оценка - это психический механизм нахождения (определения, выявления) значимости, а отношение - способ пребывания (отражения) значимости в психике (сознании) индивида.
Переживание значимости происходит в форме желания: то чего мы в данный момент хотим, то в данный момент для нас и наиболее значимо. Чем интенсивнее нагие желание (чего-либо), тем это значимее для нас. Желание - одна из форм проявления отношения как способа проявления значимости, и оно же, будучи неотъемлемым компонентом иотребностного цикла, отражает процесс ситуационной актуализации и дезактуализации постоянно имеющейся значимости.
В конце нашего сотрудничества мы с Гэри Кляйном все же пришли к согласию, отвечая на основной поставленный вопрос: в каких случаях стоит доверять интуиции эксперта? У нас сложилось мнение, что отличить значимые интуитивные заявления от пустопорожних все же возможно. Это можно сравнить с анализом подлинности предмета искусства (для точного результата лучше начинать его не с осмотра объекта, а с изучения прилагающихся документов). При относительной неизменности контекста и возможности выявить его закономер ности ассоциативный механизм распознает ситуацию и быстро вырабатывает точный прогноз (решение). Если эти условия удовлетворяются, интуиции эксперта можно доверять.
К сожалению, ассоциативная память также порождает субъективно веские, но ложные интуиции. Всякий, кто следил за развитием юного шахматного таланта, знает, что умения приобретаются не сразу и что некоторые ошибки на этом пути делаются при полной уверенности в своей правоте. Оценивая интуицию эксперта, всегда следует проверить, было ли у него достаточно шансов изучить сигналы среды – даже при неизменном контексте.
При менее устойчивом, малодостоверном контексте активируется эвристика суждения. Система 1 может давать скорые ответы на трудные вопросы, подменяя понятия и обеспечивая когерентность там, где ее не должно быть. В результате мы получаем ответ на вопрос, которого не задавали, зато быстрый и достаточно правдоподобный, а потому способный проскочить снисходительный и ленивый ко нтроль Системы 2. Допустим, вы хотите спрогнозировать коммерческий успех компании и считаете, что оцениваете именно это, тогда как на самом деле ваша оценка складывается под впечатлением от энергичности и компетентности руководства фирмы. Подмена происходит автоматически – вы даже не понимаете, откуда берутся суждения, которые принимает и подтверждает ваша Система 2. Если в уме рождается единственное суждение, его бывает невозможно субъективно отличить от значимого суждения, сделанного с профессиональной уверенностью. Вот почему субъективную убежденность нельзя считать показателем точности прогноза: с такой же убежденностью высказываются суждения-ответы на другие вопросы.
Должно быть, вы удивитесь: как же мы с Гэри Кляйном сразу не додумались оценивать экспертную интуицию в зависимости от постоянства среды и опыта обучения эксперта, не оглядываясь на его веру в свои слова? Почему сразу не нашли ответ? Это было бы дельное замечание, ведь решение с самого начала мая чило перед нами. Мы заранее знали, что значимые интуитивные предчувствия командиров пожарных бригад и медицинских сестер отличны от значимых предчувствий биржевых аналитиков и специалистов, чью работу изучал Мил.
Теперь уже трудно воссоздать то, чему мы посвятили годы труда и долгие часы дискуссий, бесконечные обмены черновиками и сотни электронных писем. Несколько раз каждый из нас был готов все бросить. Однако, как всегда случается с успешными проектами, стоило нам понять основной вывод, и он стал казаться очевидным изначально.
Как следует из названия нашей статьи, мы с Кляйном спорили реже, чем ожидали, и почти по всем важным пунктам приняли совместные решения. Тем не менее мы также выяснили, что наши ранние разногласия носили не только интеллектуальный характер. У нас были разные чувства, вкусы и взгляды применительно к одним и тем же вещам, и с годами они на удивление мало изменились. Это наглядно проявляется в том, что каждому из нас ка жется занятным и интересным. Кляйн до сих пор морщится при слове «искажение» и радуется, узнав, что некий алгоритм или формальная методика выдают бредовый результат. Я же склонен видеть в редких ошибках алгоритмов шанс их усовершенствовать. Опять-таки я радуюсь, когда так называемый эксперт изрекает прогнозы в контексте с нулевой достоверностью и получает заслуженную взбучку. Впрочем, для нас в конечном итоге стало важнее интеллектуальное согласие, а не эмоции, нас разделяющие.
Нейронная сеть двойственного функционирования может вычислять градиент функции оценки по входным сигналам и обучаемым параметрам сети.
Показателем значимости параметра при решении q- о примера будем называть величину, которая показывает насколько изменится значение функции оценки решения сетью q- о примера если текущее значение параметра w p заменить на выделенное значение w p . Точно эту величину можно определить произведя замену и вычислив оценку сети. Однако учитывая большое число параметров сети вычисление показателей значимости для всех параметров будет занимать много времени. Для ускорения процедуры оценки параметров значимости вместо точных значений используют различные оценки . Рассмотрим простейшую и наиболее используемую линейную оценку показателей значимости. Разложим функцию оценки в ряд Тейлора с точностью до членов первого порядка:
где H 0 q - значение функции оценки решения q- о примера при w =w. Таким образом показатель значимости p- о параметра при решении q- о примера определяется по следующей формуле:
Показатель значимости (1) может вычисляться для различных объектов. Наиболее часто его вычисляют для обучаемых параметров сети. Однако показатель значимости вида (1) применим и для сигналов. Как уже отмечалось в главе сеть при обратном функционировании всегда вычисляет два вектора градиента - градиент функции оценки по обучаемым параметрам сети и по всем сигналам сети. Если показатель значимости вычисляется для выявления наименее значимого нейрона, то следует вычислять показатель значимости выходного сигнала нейрона. Аналогично, в задаче определения наименее значимого входного сигнала нужно вычислять значимость этого сигнала, а не сумму значимостей весов связей, на которые этот сигнал подается.
Показатель значимости параметра X q p зависит от точки в пространстве параметров, в которой он вычислен и от примера из обучающего множества. Существует два принципиально разных подхода для получения показателя значимости параметра, не зависящего от примера. При первом подходе считается, что в обучающей выборке заключена полная информация о всех возможных примерах. В этом случае, под показателем значимости понимают величину, которая показывает насколько изменится значение функции оценки по обучающему множеству, если текущее значение параметра w p заменить на выделенное значение w p . Эта величина вычисляется по следующей формуле:
В рамках другого подхода обучающее множество рассматривают как случайную выборку в пространстве входных параметров. В этом случае показателем значимости по всему обучающему множеству будет служить результат некоторого усреднения по обучающей выборке.
Существует множество способов усреднения. Рассмотрим два из них. Если в результате усреднения показатель значимости должен давать среднюю значимость, то такой показатель вычисляется по следующей формуле:
Если в результате усреднения показатель значимости должен давать величину, которую не превосходят показатели значимости по отдельным примерам (значимость этого параметра по отдельному примеру не больше чем О§ p), то такой показатель вычисляется по следующей формуле:
Все показатели значимости зависят от точки в пространстве параметров сети, в которой они вычислены, и могут сильно изменяться при переходе от одной точки к другой. Для показателей значимости, вычисленных с использованием градиента эта зависимость еще сильнее, поскольку при обучении по методу наискорейшего спуска (см. раздел ) в двух соседних точках пространства параметров, в которых вычислялся градиент, градиенты ортогональны. Для снятия зависимости от точки пространства используются показатели значимости, вычисленные в нескольких точках. Далее они усредняются по формулам аналогичным (3) и (4). Вопрос о выборе точек в пространстве параметров в которых вычислять показатели значимости обычно решается просто. В ходе нескольких шагов обучения по любому из градиентных методов при каждом вычислении градиента вычисляются и показатели значимости. Число шагов обучения, в ходе которых накапливаются показатели значимости, должно быть не слишком большим, поскольку при большом числе шагов обучения первые вычисленные показатели значимости теряют смысл, особенно при использовании усреднения по формуле (4).
Из анализа литературы и опыта работы группы НейроКомп можно сформулировать следующие задачи, решаемые с помощью контрастирования нейронных сетей.
1. Упрощение архитектуры нейронной сети.
2. Уменьшение числа входных сигналов.
3. Сведение параметров нейронной сети к небольшому набору выделенных значений.
4. Снижение требований к точности входных сигналов.
5. Получение явных знаний из данных.
Алгоритмы контрастирования, рассматриваемые в данной главе, позволяют выделить минимально необходимое множество входных сигналов. Использование минимального набора входных сигналов позволяет более экономично организовать работу нейркомпьютера. Однако у минимального множества есть свои недостатки. Поскольку множество минимально, то информация, несомая одним из сигналов, как правило не подкрепляется другими входными сигналами. Это приводит к тому, что при ошибке в одном входном сигнале сеть ошибается с большой степенью вероятности. При избыточном наборе входных сигналов этого как правило не происходит, поскольку информация каждого сигнала подкрепляется (дублируется) другими сигналами.
Таким образом возникает противоречие - использование исходного избыточного множества сигналов неэкономично, а использование минимального набора сигналов приводит к повышению риска ошибок. В этой ситуации правильным является компромиссное решение - необходимо найти такое минимальное множество, в котором вся информация дублируется. В данном разделе рассматриваются методы построения таких множеств, повышенной надежности. Кроме того, построение дублей второго рода позволяет установить какие из входных сигналов не имеют дублей в исходном множестве сигналов. Попадание такого «уникального» сигнала в минимальное множество является сигналом о том, что при использовании нейронной сети для решения данной задачи следует внимательно следить за правильностью значения этого сигнала.
Существует два типа процедуры контрастирования - контрастирование по значимости параметров и не ухудшающее контрастирование. В данном разделе описаны оба типа процедуры контрастирования.
В данном разделе описан способ определения показателей значимости параметров и сигналов. Далее будем говорить об определении значимости параметров. Показатели значимости сигналов сети определяются по тем же формулам с заменой параметров на сигналы.
