Tulius
Администратор сайта
Автор сюжетов
Очки. Что и как оцениваем? 12.09.2010, 00:37
Вот это, на мой взгляд, один из самых сложных вопросов.

На прошлом турнире была индивидуальная система подсчета очков. И оценивались не сюжеты, а результаты игры. Но этот турнир отличается от предыдущего.
Наверх
12.09.2010, 00:37
Dendr
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 08:41
Самые первые мысли (сразу после прочтения вопросов)

1.Турнир - не для игроков, а для авторов. То есть оценивать результаты самой игры (как в прошлый раз) не надо. В любом ведь случае, кто-то из команды да выигрывает. Разве что за пассивность можно дисквалифицировать.

2. Оценивают каждый сюжет все отыгравшие в него (в рамках турнира) команды. Оценка - коллективная. Наилучший вариант - после каждой игры там же, в игровом форуме открывается (ведущим) тема "Оценка", где команда, по своим собственным критериям, дает авторам некую оценку.
Это уже как угодно - могут общую, могут каждый свою, потом усреднить.
Чтобы далеко не ходить, можно ограничить оценку рамками от 0 до 10. И необязательно целые числа - все равно потом усреднять.

3. Кроме того (обсуждаемо) свою оценку выносят и эксперты - либо коллективно (тогда тоже от 0 до 10), либо каждый свою (тогда от 0 до 5, а при большом количестве экспертов от 0 до 3).

4. Оцениваться может как сюжет в целом (одна и только одна оценка), так и компоненты: загадка, интересность СТ и т.п.
Король спонтанности, герцог импульса
Наверх
12.09.2010, 08:41
Panda
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 13:43
Мне кажется критерии должны быть как раз едиными и универсальными. Потому что если каждый будет лепить свое, то объективности не выйдет.
Panda eats, shoots and leaves

Наверх
12.09.2010, 13:43
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 14:28
Вот субъективность меня и смущает...
Наверх
12.09.2010, 14:28
Hime
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 15:15
Значит, каждый сюжет должны отыграть все. А то ведь каждый может воспринимать по-разному один и тот же критерий. Только тогда турнир рискует затянуться, если будет проводиться бесчисленное множество прогонов одного и того же сюжета.
Как вариант, можно, чтобы в рамках турнира сюжет был сыгран только командой жюри. Тогда выставлять авторам оценки по крайней мере будут одни и те же люди.

Только вот как выбрать это самое жюри? Может, из числа уже существующих авторов, которые решат не представлять на турнир свои работы? И именно под их кол-во будет рассчитано кол-во мест в игре. А уже на дальнейшие нетурнирные прогоны можно будет набирать других игроков.

Но это так... мысли вслух.
Наверх
12.09.2010, 15:15
tehhy
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 15:27
Бедное жюри - отыграть все сюжеты подряд практически без передышки )
Мне их жалко
В то же время авторы - им же тоже интересно играть! Как быть с ними?
Сама себя собой запутала!
Л. Кэролл "Алиса в стране чудес"
Наверх
12.09.2010, 15:27
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 15:48
Вообще можно совместить старую систему с подсчетом индивидуальных очков с оценкой авторской работы.

Вот я нечто такое предлагаю.
1. Подсчет очков индивидуальный, а не командный.
2. Набрать какое-то количество очков может абсолютно каждый, кто сыграл хотя бы в одной игре.
3. Как на прошлом турнире, очки присуждаются за победу в игре, причем, если побеждает убийца, то он получает заметное преимущество по очкам. (В прошлый раз Филь очень здорово просчитала соотношение очков. Убийца за победу, кажется, 8 очков получал.) Также присуждаются очки за версии, причем версию можно выдвинуть только одну. В общем, посмотрите, как было на прошлом турнире. На мой взгляд, высчитано все было довольно разумно. Но это все ИГРОВЫЕ очки.
4. Дополнительные очки присуждаются авторам и членам экспертной группы. Это АВТОРСКИЕ очки.
5. И вот эти авторские очки зависят от оценки сюжетом.
6. Я предлагаю такую систему оценки сюжетов. Шкалу оценки не надо делать большой. Всем играющим будет предложено оценить игру: 1 балл - плохо, 2 балла - хорошо, 3 балла - отлично. Потом все баллы суммируются и выводится среднее арифметическое.
7. Это среднеарифметическое число баллов прибавляется к числу очков а) авторов игры, б) куратора(ов) данной игры. Это если принять идею Дендра о том, что в экспертной группе к каждой команде будет прикреплен куратор.
8. Хотелось бы также отметить и художественное оформление игры. Тоже можно будет предложить игравшим оценить оформление и дать дополнительный балл либо художнику (если в командах будет специально таковой определен), либо всей команде. Может быть, балл за оформление будет один и присуждаться он будет только одной команде, чье оформление будет признано лучшим. Это еще подумать надо.
Наверх
12.09.2010, 15:48
Stellinamama
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 12.09.2010, 18:14
Tulius писал(а)
Это если принять идею Дендра о том, что в экспертной группе к каждой команде будет прикреплен куратор.

А мне кажется, что это и будет как раз куратор - тот, кто задание создавал... Нет? Самое простое же..

А вот критерии оценки.. Я бы вообще сделала простым голосованием, опять же, как на чгк-турнире - несколько голосовальных тем - лучший сюжет, лучшее оформление и т.д...
и просто по набранным голосам..
Думаете ли вы, что можете, или думаете, что не можете - в любом случае вы правы (с) Г.Форд 
Наверх
12.09.2010, 18:14
Stellinamama
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 18:16
Если это турнир авторов (а это турнир авторов, так как направлен на именно написание игр), тогда оценивать выигрыш или проигрыш команды или убийцы тут вообще не надо, имхо. Так как это соревнование игроков получится. Единственное, что тут можно оценивать, это мнение сыгравших о том, насколько в игре вообще вычисляем преступник и при этом насколько спрятан. Так мне кажется.
Думаете ли вы, что можете, или думаете, что не можете - в любом случае вы правы (с) Г.Форд 
Наверх
12.09.2010, 18:16
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 19:03
Тогда, ты думаешь, этот вопрос вынести отдельной "номинацией"?
Наверх
12.09.2010, 19:03
Stellinamama
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 19:04
Конечно.
Думаете ли вы, что можете, или думаете, что не можете - в любом случае вы правы (с) Г.Форд 
Наверх
12.09.2010, 19:04
Dendr
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 12.09.2010, 19:04
stellinamama писал(а)
Если это турнир авторов (а это турнир авторов, так как направлен на именно написание игр), тогда оценивать выигрыш или проигрыш команды или убийцы тут вообще не надо, имхо. Так как это соревнование игроков получится.

Вот я тоже так подумал, от этого и отталкивался, когда свои мысли излагал.

То есть, надо сначала однозначно решить, кого оцениваем - авторов или игроков?
(конечно, это в конце концов, одни и те же люди, но какую из их "специальностей" отмечаем?)
Король спонтанности, герцог импульса
Наверх
12.09.2010, 19:04
Hime
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 12.09.2010, 19:24
Tehhy писал(а)

В то же время авторы - им же тоже интересно играть! Как быть с ними?


Ну, я имела в виду, что все остальные, те кто не члены жюри, сыграют во втором, третьем и т.д. прогонах игры, т.е. уже вне турнира.

Но да, тогда на жюри слишком большая нагрузка. Сыграть, думаю, придется в одном составе коло 5 игр в довольно кооткий срок.
Наверх
12.09.2010, 19:24
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 19:29
Почему второй и третий прогон вне турнира?
Число турнирных прогонов = число команд - 1.
Наверх
12.09.2010, 19:29
Hime
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 12.09.2010, 20:24
Tulius писал(а)
Почему второй и третий прогон вне турнира?


Ну, как мне мыслится,тогда это рискует затянуться надолго.

К тому же, ну это лично мое такое ИМХО, авторы-соперники не должны оценивать аботу друг друга. Не то, чтобы я не верю в честность оценок, которые мы поставим своим оварищам, НО

допустим:
Маша, Петя, Зина и Гриша сграли в игру "Репка", которую написали Катя и Вася.
Апотом Вася, Петя, Катя и Маша, сыграли в игру "Колобок", которую написали Зина и Гриша.

Так вот, Маа и Петя будут оценивать одну игру относительно другой, т.е. объективно. А авторы-соперники в свои-то игры не играли, поэтому оценка будет субъективной. И, возможно, тот момент в иге, "Колобок", который Вася оценит на 5, Гриша (если бы не писал эту игру), оценил бы на 3, и именно на 3 оценит Гриша аналогичный момент в игре "Репка", хотя сам получит за это 5 от Васи, при этом заслуживая трех.

Перечитала, и самой кажется, что слишком путанно все объясила. Но это я о том, что если разные игры будут оценивать разные люди (а это неизбежно, т.к. сам себя никто судить не будет, а соперников - будут), то мы рискуем получить ранобой в оценках, т.к. у каждого свое понимание того, что такое хорошо, а что такое плохо. А если судить будут одни и те же, то им будет, с чем сравнивать.

Это то, что я хотела сказать.
Наверх
12.09.2010, 20:24
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 20:36
Но не сыграв в игру, игру не оценишь...
Вот в чем проблема.
Наверх
12.09.2010, 20:36
Hime
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 20:44
Оно-то понятно. Поэтому я и предложила, чтобы игры оценивало жюри, составленно из тех, кто игр на этот турнир писать не будет.

А уже потом, после завершения турнира, все авторы-участники смогут сыграть в турнирные игры, но уже не оценивая их, а просто ради удовольствия
Наверх
12.09.2010, 20:44
Dendr
Автор сюжетов
Re: Очки. Что и как оцениваем? 12.09.2010, 23:05
Тогда выйдет ерунда какая-то, а не турнир.

Представьте себе только потных и взмыленных жюристов, которые отыграли, скажем 5 игр подряд. Что и как они смогут оценивать?

В случае, если оценки дают соперники - график можно составить так, что команда игру играет, потом ведет. (разумеется, несколько игр будут идти параллельно)Получаются перерывы, все живы и адекватно ощущают мир.

А чтобы избежать ситуации, когда кто-то специально занижает оценки соперникам, чтобы вытащить свои - нужно думать...
Действительно - если всего две команды, одна ставит сопернику 7 из 10, а вторая - 3 из 10, то вторая безусловно победит, независимо от оценки экспертов (если таковая будет)

Но можно сделать и так: дается, например, 60 баллов каждой команде. И она имеет право распределить их каждому из соперников по своему усмотрению, распределить надо все полностью.
Экстремальный вариант - можно распределить не все. Но остаток - вычитается из общей суммы для данной команды.
Если непонятно, завтра на свежую голову приведу примеры.
Король спонтанности, герцог импульса
Наверх
12.09.2010, 23:05
Stellinamama
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 12.09.2010, 23:37
Dendr писал(а)

А чтобы избежать ситуации, когда кто-то специально занижает оценки соперникам, чтобы вытащить свои - нужно думать...

Да не верю я, что такое может быть. Цель - сыграть в хорошую игру.. Зачем кому-то такие интриги-то дурацкие?..
Думаете ли вы, что можете, или думаете, что не можете - в любом случае вы правы (с) Г.Форд 
Наверх
12.09.2010, 23:37
Hime
Автор сюжетов
Re: Очки. Что и как оцениваем? 13.09.2010, 00:06
Да дело не в том, что кто-то кому-то что-то будет занижать. Дело в том, что если оценивают разные люди, то им не с чем сравнивать. Приведу банальный такой пример из студенческой жизни.

Пришла как-то группа на экзамен по лексикологии. Принимала его профессор доктор наук, у которой было очень мало времени. Поэтому с целью его экономии ответы слушали паралельно - в одной стороне аудитории она, а в дугой - ее лаборантка. Лаборантка, выслушав ответ, говорила профессору оценку, а профессор, полностью полагаясь на ее мнение, просто подписывала зачетку и заполняа ведомость.

Зашли мы с моей университетской подругой в аудиторию. Выянули по билету и сели писать. Настя закончила на считанные минуты быстрее меня и пошла отвечать к лабрантке, у которой как раз было свободно. Я дописала и стала жадть, пока освободится профессор.

В каждом билете было по три вопроса. О себе знаю, что на первый и третий я знала ответ идеально, а второй был "Антонимы и их классификация". Мне это тему было даже лень повторять перед экзаменом. Поэому, вытянув билет, я не написала ничего. Решила, что попытаюсь "выехать" на знаниях об антонимах из школьной программы.

В общем, ответила я кое-как на то, на что могла. Стала рассказывать об атонимах, потом профессор ме даже дополнительные вопросы задавать стала. Я что-то отвечала, она задавала еще. Я гляула в сторону, Настя тем временем отвечала лаборантке. Как я поняла, тоже уже на дополнительные вопросы.

Долго ли - коротко ли, я отвечать закончила, взяла свою зачетку и обомлела. Там стояло "отлично"! Вышла из аудитории и жду Настю. Она вышла минут через десять грустная-грустная. Она написала ответ тоже на два вороса, а на третьем тоже выехала по школьной программе. В итоге лаборантка предложила ей поставить "хорошо", но Настю эта оценка не устраивала, она попросила дополнительные вопросы, но отвечала как-то неуверенно. В итоге лаборантка сказала профессору, что Настя овечала на "три".

К чему это я? Да к тому, что уверена, что если бы Настя пошла отвечать к профессору, то получила бы "отлично". К тому, что один и тот же момент, одна и таже игра с точки зрения одного человека могут быть на 5 баллов, а с точки зрения другого - на 3. А если это две разных игры или два разных ответа, то неправильно, чтобы каждую оенивали разные люди, теряется объективность ИМХО. Если же оценивает один человек (или одна и та же группа людей), то писутствует момент сравнения.

Согласна, что идея с жюри не совсем удачная и трудно реализуемая.

Но идея "60 очков" мне нравится еще меньше и объясню почему. Мы-то все тут нежадные, разбросаем по разным "номинациям" все 60 очков, но тогда выйдет, что за дизайн игры кто-то наберет сразу 40 очков (от одной отыгравшей команды) и выиграет, а кто-то другой наберет 45 очков за атмосферность и выиграет. А если у одной и той же игры и дизайн и атмосферность заслуживают победы?

ЗЫ: Ой, что-то я на ночь глядя изъясняюсь, а потом перечитываю и сама не совсем хорошо понимаю, что я "изъяснила".
Наверх
13.09.2010, 00:06
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 13.09.2010, 00:19
В общем, отчасти именно поэтому на прошлом турнире приняли индивидуальные подсчеты....

Всю эту субъективность может снять только "большая выборка".
То есть, если игра будет играться в рамках турнира несколькими командами, да еще не только авторами и экспертами, а еще и вольными стрелками... то среднеарифметическое оценки трех десятков человек может быть близко к истине.

Особенно, если учесть, что можно не только убавлять баллы соперникам, но и прибавлять баллы "любимым авторам". В среднем результат сгладится.
Наверх
13.09.2010, 00:19
Stellinamama
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 13.09.2010, 02:00
Tulius писал(а)
среднеарифметическое оценки трех десятков человек может быть близко к истине.

Во-во-во. Вот я и говорю - массовое голосование по типу "нравится-не нравится" с возможностью, может быть, ранжирования, т.е расстановки с первого по третье место. Самый в итоге беспристрастный результат получится. На мой взгляд.
Думаете ли вы, что можете, или думаете, что не можете - в любом случае вы правы (с) Г.Форд 
Наверх
13.09.2010, 02:00
Dendr
Автор сюжетов
Re[2]: Очки. Что и как оцениваем? 13.09.2010, 08:42
Hime писал(а)
Да дело не в том, что кто-то кому-то что-то будет занижать. Дело в том, что если оценивают разные люди, то им не с чем сравнивать.

Ну, значит, я не так понял.

А что плохого, что кому-то не с чем будет сравнивать?
Им же будет не с чем "сравнивать" сразу N-1 игр, а не одну! Вот и пусть оценивают, как могут.
Король спонтанности, герцог импульса
Наверх
13.09.2010, 08:42
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 13.09.2010, 10:54
Можно попросить дать оценки не сразу, а в конце турнира.
Наверх
13.09.2010, 10:54
Tulius
Администратор сайта
Автор сюжетов
Re: Очки. Что и как оцениваем? 16.09.2010, 00:50
Мы тут с Таней отдельно обсуждали, что по каким параметрам оценивать.
Мое предложение примерно такое.
3 критерия оценки.
1. Детективная интрига (логическая загадка, изящность интриг, занимательность страшных тайн, шансы игроков найти преступника и шансы преступника защитить себя и т.д.).
2. Художественные достоинства текста (красота стиля, увлекательность повествования, отражение настроения и атмосферы и т.п.).
3. Оформление игры (баннеры, аватары, иллюстрации к игре, оформление вводной).
Наверх
16.09.2010, 00:50