Красавчеги

Здравствуйте все!

Хочу ознакомить форум с результатами чтения бюллетеней и размышлениями над ними.
Скажу сразу: никаких сенсаций! Тем не менее, какие-то наблюдения могут оказаться полезными как администрации, так и участникам конкурсов.

Часть первая.
Цель данного анализа – попытка определить влияют ли «внешние факторы» (мнение коллег о рассказе) на последующую его оценку. Возможно ли это выявить? Кажется, что отчасти – да. Мы не можем оценить повышение мнения о рассказах, которым в первом туре поставлена единица, а в финале – любая положительная оценка. Однако это можно проследить на рассказах, получивших в первом туре ноль от конкретного судьи, а в финале – положительную оценку от того же судьи.


Итак, все прошедшие в финал столкнулись с ситуацией, когда часть рассказов, которые они посчитали «недостойными финала», там оказались. Можно предположить, что такому рассказу тот же судья теперь поставит единицу, т. е. самую низкую оценку. Не обязательно! Мнение может измениться. А как существенно оно может измениться?

7 после 0 не поставил никто.
6 после 0 встречается четыре раза (15, 19, 33, 35). В скобках – номер судьи = автора = рассказа.
5 после 0 встречается шесть раз (2, 7, 29, 30 – трижды).
4 после 0 встречается двадцать восемь раз (29 – четыре раза, 11 – трижды, 22 – трижды).
3 после 0 встречается тридцать пять раз (43 – четыре раза, 13 – трижды, 11 – трижды).
2 после 0 встречается тридцать раз (29 – шесть раз, 2 – трижды, 31 – трижды).
1 после 0 встречается тридцать семь раз (17 – семь раз, 14 – шесть раз, 25 – пять раз).

Всего в первом туре было проставлено 287 нулей, из них в финале не учитывались (не прошли в финал или дисквалифицированы) – 140 нулей. Судьба оставшихся 147 нулей такова:
42 из них (28,57%) стали низшим баллом, т. е. единицей,
31 из них (21,09%) стали двойкой,
36 из них (24,49%) стали тройкой,
28 из них (19,05%) стали четвёркой,
6 из них (4,08%) стали пятёркой и
4 из них (2,72%) стали шестёркой.

Можно сказать, что около четверти голосовавших не изменили своего мнения и приблизительно три четверти изменили его (повысили свои оценки, возможно под влиянием дискуссий). Из тех, кто изменил своё мнение (105 нулей превратившихся в 2, 3, 4, 5 и 6): около трети – 31 (29,52%) – незначительно (с 0 на 2), почти треть – 36 (34,29%) – средне (с 0 на 3) и немного больше, чем треть - 38 (36.19%) – значительно (с 0 на 4, 5 и 6).

Часть вторая.
Теперь обратим внимание на средний балл.

Какова «судьба» (т.е. заработанный средний балл) «строгих» и «нестрогих» судей?
Самые «строгие» судьи (17, 14, 25) поставили в финале соответственно 11, 20 и 12 единиц и в результате получили самые низкие средние баллы: 2,63; 1,78 и 2,41 соответственно. Как мы уже видели, эти судьи поставили наибольшее количество нулей в первом туре.
Наименьшее число единиц от данного судьи в финале – это ноль. Есть такой судья, 26.
В первом туре он выставил 12 нулей, четыре из них срезались, а оставшимся восьмерым он повысил баллы, не оставив и не поставив никому единицы.
Только одну единицу поставили 12 из 30 финалистов (40%), но те, у кого средний балл наивысший, это 30 – 5,11; 34 – 5,04; 7 – 4,85 и 1 – 4,81 среди них, а в первом туре они – среди тех, кто выставил наименьшее число нулей: 6, 8, 4 и 5 соответственно.

Возможно, читая этот анализ, кто-то задумается, что для него лучше: судить в диапазоне низких или высоких оценок? Принципиально не менять первоначальное мнение, менять его немного или сильно?

В результате первого тура группы по 5 – 6 рассказов получили одинаковую оценку, и места среди них определились большим (почему не меньшим?) размером рассказа:


Заметьте, что в бюллетенях первого тура имеются перестановки мест с равными средними баллами, противоречащие приведённому правилу. Думаю, что это просто опечатки, но их тридцать из сорока четырёх мест! Опасность для конкурса это могло составить лишь для одного участника с равными баллами в группе от 27-го до 31-го места. Но «пронесло»: правильно, в соответствии с 6.3.1 был исключён Butrim (28-е вместо 31-го места) и оставлен Фрей (31-е вместо 29-го места).
А представим себе, что кто-то спорит (на ящик пива) за победу над соперником в первом туре и выигрывает согласно бюллетеню, но это ОПЕЧАТКА. С пивом-то всё в порядке, но осадок останется, а?
Так вот, если ещё осторожнее ставить нули, то количество рассказов с равными баллами может возрасти и даже стать равным … количеству рассказов на конкурсе. Вывод: не пишите кратко! Забудьте о «сёстрах»! Но помочь это может лишь в частных спорах за ящик пива, а не в призовых местах.
Пишите талантливо! Удачи всем!

_________________________________________________________________________________________________________
"мнение azimut не есть мнение Азимут, рбж АZИМУТ, rbg-azimut и аватара AZIMUT"

Совсем чуток замечаний.
По части первой (те, кто ставили нолики в первом туре, вдруг выставили шестёрки во втором туре).
Мне кажется, в этом нет противоречий.
В первом туре оценки (по условиям игры) больше похожи на абсолютные (судья сравнивает конкурсные работы с тем, что вообще читал по жизни). Во втором туре оценки относительные (судья сравнивает конкурсные работы с конкурсными работами). Поэтому в первом туре, авторы сравнивают работу с Хайнлайном и Азимовым, и ставят нолик. А во втором - с моей работой, тогда конечно же, вчерашний нолик превращается в шестёрку .
Кстати, было бы много показательнее, если бы azimut сделал обратный анализ: есть ли такие судьи, которые в первом туре ставили единицы (достоен места в финале), а в самом финале поставили работе единицу (худший в группе). Вот этого я бы объяснить (наверное ) не смог.
По второй части (учёт среднего и преимущество более длинных текстов) я противоречий не уловил.
"Добренькие" судьи первого тура, остались "добренькими" и во втором. Что же тут удивительного?
А вот если обнаружены случаи, когда обработка результатов голосования не соответствует (противоречит) объявленной правилами конкурса - то это уже вопрос к Хедроку.
Уважаемый azimut, назовите рассказы, которые в первом (или во втором) туре расставлены неправильно.
Это и в самом деле важно.
В целом было очень интересно почитать ваши наблюдения.
Спасибо.

Пожалуйста.

Назвать очень просто. Идёте в первый тур http://rbg-azimut.com/contest/tour.php?tour=34 и сравниваете места с равными оценками. Высшее место должно быть при наибольшем количестве символов (более длинном рассказе).
Почему В030 на 3 месте, а не на втором при равенстве баллов с В008? Да потому, что его рассказ короче, что правильно согласно 6.3.1. (Я лично голосовал бы за изменение этого правила в пользу более короткого рассказа).
А в следующей группе из пяти рассказов с баллами 0,76 четыре опечатки: только В002 имеет правильное место.
На 5 месте должен быть В007, на 6 - В014 и т. д.
По всему списку из 44 рассказов я насчитал 30 таких опечаток.

P.S. Вас также могут заинтересовать мои замечания по правилам конкурса в вопросах к администрации.

Привет и успехов.

Спасибо за замечание, azimut - Вы совершенно правы. Глюк пока не обнаружен, но к следующему конкурсу обязательно исправим.

Вы, hedrok, молодец, что, не доверяя программе, не допустили "большого шума" с 31 местом и исправили всё вручную!
А глюков, видимо, немало. Например, на каждой странице АЗИМУТ вместо "Финал закончиЛся..." по-прежнему "Финал закончиТся"
или на страничке О КОНКУРСЕ дата окончания "Человек-09" - ? (т. е. неизвестна).
Когда мы читаем на обложке "ЭнциклопУдия", то с подозрением относимся к её содержанию, даже превосходному.
А "придираюсь" я к глюкам и правилам конкурса, потому что АЗИМУТ и его сообщество мне нравятся больше других аналогичных.
____________________________________________________________________________________________________
"мнение azimut не есть мнение Азимут, рбж АZИМУТ, rbg-azimut и аватара AZIMUT"

Уважаемая Felicata!
Имхо, мат.аппарат можно использовать только там, где "пять" всегда равно "пяти", а на конкурсах оценка "пять" может означать и то, что лучше этого рассказа только два, а все остальные хуже, и то, что это средний рассказ, приблизительно поровну есть и лучше, и хуже. В таких условиях математика, имхо, не работает - или работает плохо. Собственно, в частности для этого разрабатывалась новая методика Она себя, имхо, блестяще оправдала на втором Эксперименте - там во втором туре судьи судили, как хотели, не было жесткой системы судейства. В итоге первые места разошлись довольно далеко. Но редакция, рассматривавшая рассказы параллельно, взяла в печать первые места по методике, а не по среднему баллу. Когда есть жесткие правила судейства - ситуация смягчается, но, имхо, не достаточно.
Собственно, в какой-то степени я был не прав
При разрыве в 1-2 балла ясно, что все решает случай - ну или методика Я "запрыгал", потому что получилось 4 лидера, а дальше уже пошли плотной массой, то есть, призовые места определял практически "случай". Впрочем, разницы особой нет, какой именно случай определяет Посему мою методику, вероятно, стоит использовать для анализа - она, вероятно, слишком сложная и громоздкая, и не особенно прозрачная.
Мои извинения, что не сдержался

А мне вот интересно, был ли голосующий, чьи оценки совпали с получившимся распределением по местам?

Полностью?
Насколько я вижу - нет. А если брать плюс-минус, то, наверное, можно и всех подогнать

Картинки с распределением оценок я все-таки достроила, не поделиться не могу.
По оси X – места или «кучки», по которым арбитрами «раскидывали» рассказы (слева, первое место, это «семерки», последнее, седьмое, это «единички»). По Y – количество проставленных оценок (график «нормирован», делен на 27, потому как иначе картинка не имеет вероятностного смысла) смотреть надо на синенькие линии, желтые просто для красоты (сумма под графиком равна единичке).
Если бы мы на конкурсе столкнулись с нормальным распределением случайной величины, если бы все авторы обладали одинаковым вкусом и «судили» бы одинаково серьезно, то, скорее всего, распределение выглядело бы так.

То есть, немного рассказов признаются отличными, немножко совсем уж слабыми, остальные ровненько раскидываются вокруг математического ожидания. Какие-то лучше, какие-то хуже. Если конкурсу повезло, то верхушка смещается в левую зону. Если на конкурс собрались кошмарные графоманы – то в левую. . Если все более-менее ровно, то рассказы все равно раскидываются по тому же принципу, руководствуясь собственной политикой голосующего («этот рассказ не гениален, но на безрыбье надо ставить кому-то оценку повыше…» «а этот не так уж и плох, но остальные-то гораздо лучше…» )
Обязательные «одна единица» и «одна семерка» как раз для этой цели и введены на конкурсах с «оценочной» системой. Как бы автор ни выкручивался, а голосование у него все равно окажется «нормальным». Поверить его можно по любому удобному критерию (я через корреляционную функцию смотрю) – картинка будет «нормальной», как бы автор про себя ни исхитрялся (через свою систему оценок, назло природе или со всей объективностью). Но напоминаю, здесь речь идет о количестве выставленных оценок, а не о том кому они были проставлены…
Ниже на картинках «обычное» нормальное голосование. Картинка может быть пухленькой (слева, где авторы размазали оценки вокруг «чистого» мат.ожидания) или остренькой (справа, где «добрые» авторы щедро сочли основную массу рассказов достойной мест со второго по четвертое).

Ниже еще четыре «нормальных» картинки.
Верхние – где авторы аккуратно «раскладывали» рассказы, зная, видимо, что 71-му для его системы позарез надо как можно больше разделенных пар «лучше»-«хуже», а внизу – «добренький» и «сердитенький» авторы, не мучаясь, наставили основной массе тех оценок, которых не жалко (для 71-го тоже удобно, сложности в попарном сравнения рассказов "верхушки" только).

А теперь об «интересном» нормальном голосовании. Кто-нибудь знает, почему на верхних картинках левые «бока» пологие, а правые – крутые? При том, что авторы002 тяготеют к «сердитым» оценкам, автор010 – к «добрым» .
Но те две картинки, что ниже, еще любопытнее. Заметно что распределение в этих случаях почти равномерное? Для общей статистики эти бюллетени очень хорошие, потому что при суммировании только поддерживают «нормальный» закон.

И напоследок немного «экзотики»
Очень красивые картинки, правда? Можно попробовать объяснить их. У автора001 все рассказы примерно разделены на «лучшие» и «худшие», это то же самое распределение, только от противного. Если разрезать график по «трешке», перенести правую часть влево и соединить, то увидим почти классическую «пирамидку», причем оптимистичную, смещенную влево, к высоким местам.
У 011 всего лишь провалена верхушка, но вокруг предполагаемого (как будто «выкушенного») максимума сосредоточено приличное количество оценок, здесь тоже обычный закон.
Автор 014 выше признался, что немного своеобразно понял правила, а автор 017, хоть и притворяется невероятно сердитым, жестоко оценивая большую часть рассказов, все равно выстраивает ма-а-аленькую нормальную горку и в левой части графика. .

(*шепотом*) 71, только не говорите, что математика не работает, эта гадкая наука работает гораздо надежнее, чем многое другое в этом мире. Только иногда дает обидные результаты )).
Методика у Вас достаточно любопытная (похожа на велосипед, изобретатель которого уже добрался до квадратных колес со скругленными краями и скоро выйдет на круглые ). Ничего она не громоздкая, очень даже логичная, в ней есть всего лишь одно допущение, которое можно признать незначительно влияющим, а можно... (не знаю как остальные, а я таких вещей очень боюсь). Это потеря накопленной статистической информации. Скруглять, огрублять, усреднять и фильтровать можно до бесконечности и разными способами (Вашу пересортировку я бы скорее отнесла некоему виду фильтрации), беда в этом случае одна - пренебрежение УЖЕ полученной информацией. И я еще год назад об этом говорила. Эксперименты (конкурс) повторить невозможно, рассказы рочитаны и оценены, решение голосующими принято, независимо от того кто и какими мотивами руководствовался. Если из бюллетеня берется только сравнение "сколько рассказов лучше данного", но не учитываестя, насколько лучшими оно признано - это просто "отмахивание" от решения, которое принял участник. Если бы участник заранее знал, что учитывается только взаимное положение, то он изначально так бы и голосовал (к примеру, если я разделяю слабые рассказы оценками "1" и "2" толкьо потому, что во втором рассказе меньше стилистических погрешностей, то, знай я о Вашей системе, поставила бы обоим рассказам единичики, не желая давать второму так необходимый в сравнительной системе подсчета балл "этот рассказ лучше соседа", потому как по моему мнению, они оба хуже. Это не к нынешней игре относится, а просто пример). То есть, либо заполнял бы Ваш кошмарный "попарный" бюллетень, сбившись на третьей строке, либо применил бы все ту же "ранжировку" с первого места по 27.
Расхождений между системами счета получается не так уж и много, потому что 7 оценок - вполне достаточно, чтобы разложить по ним рассказы и получить нужное число "плюс единичек за лучшесть "и "минус единичек за хужесть".