Добро пожаловать, Гость
Логин: Пароль: Запомнить меня
  • Страница:
  • 1
  • 2
  • 3

ТЕМА: Обсуждение настроек опроса по изменению рейтинговой системы

Обсуждение настроек опроса по изменению рейтинговой системы 29 Июл 2012 19:55 #8916

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Данная ветка создана для обсуждения всех нюансов предстоящего опроса мнений игроков по получению информации по изменению рейтинговой системы.
Основной пост (второй в ветке) будет подвергнут массированному редактированию с целью получения той самой версии вопросов и опций к ответам, которая будет запущена для подсчёта голосов.
К ответам на все ключевые пункты будут даны пояснительные комментарии.

От всех заинтересованных лиц требуется активное участие!
Задавайте вопросы и получайте ответы!
Последнее редактирование: 30 Июл 2012 08:22 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 29 Июл 2012 19:55 #8917

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Здесь будет изложение вопросов опроса.
Убедительная просьба подождать с комментариями до получения соответствующего уведомления!

*** ОПРОС ***
Версия 0.7

А. ПРОФИЛЬ ИГРОКА
Сбор общей информации о голосуемом контингенте игроков.

1. Я играю в маджонг (отметьте все подходящие пункты):
а. дома с компьютером,
б. дома/ в кафе (и т.п.) с друзьями,
в. в специализированных клубах,
г. на специализированных серверах в он-лайн,
д. на российских турнирах,
е. на зарубежных турнирах.

2. Я играю по правилам (отметьте все подходящие пункты):
а. спортивным,
б. риичи,
в. гонг-конгским,
г. Zung Jung,
д. тайваньским,
е. классическим,
ж. американским (с джокерами),
з. иным (домашним/ не знаю каким).

3. Я играю в маджонг (отметьте одно):
а. только что научился,
б. 1-3 месяца,
в. несколько месяцев/ около года,
г. 1-3 года,
д. более 3 лет.

4. Я проживаю в регионе (отметьте одно):
а. г. Москва и область,
б. г. Санкт-Петербург и область,
в. г. Тамбов и область,
г. Россия до Урала,
д. Россия за Уралом,
е. другом.

Б. НАСТРОЙКА ПОДСЧЁТА РЕЙТИНГА
Общие вопросы по рейтингу.

5. С моей точки зрения, рейтинг игроков должен использоваться для (отметьте все подходящие пункты):
а. ранжирования игроков по силе на рассматриваемый момент времени,
б. присвоения рангов/ разрядов/ званий,
в. формирования списков игроков для отбора на международные соревнования,
г. не имею мнения.

6. Какие турниры использовать для рейтинга (отметьте все подходящие пункты):
а. международные (EMA и WMO),
б. российские, объявленные федерацией маджонга,
в. клубные,
г. любые турниры с числом участников выше N (например, N=16).

7. За сколько лет учитывать турниры и какие должны быть (затухающие) веса по годам (отметьте одно):
а. за 4 года; веса 1.00, 0.75, 0.50, 0.25,
б. за 3 года; веса 1, 2/3, 1/3 (стандарт EMA),
в. за 3 года; веса 1.00, 0.50, 0.25,
г. другое.

8. Какие российские турниры должны идти в подсчёт рейтинга игрока (отметьте все подходящие пункты):
а. все за весь учитываемый период (см. п.7),
б. все турниры, начиная с первого сыгранного для игрока,
в. только турниры, в которых игрок участвовал,
г. за вычетом турниров, в котором игрок являлся неиграющим судьёй/ ключевым организатором,
д. лучшие N турниров, в которых игрок участвовал (например, N=3),
е. последние N турниров, в которых игрок участвовал (например, N=3).

В. ФОРМУЛА ПОДСЧЁТА РЕЙТИНГА
Типовая формула рейтинга игрока представляет собой дробь, в числителе -- сумма набранных в индивидуальных турнирах результатов (домноженных на различные коэффициенты), в знаменателе -- учёт числа турниров (домноженных на различные коэффициенты) с поправками (на неучастие и др.).
Точнее, компонент суммирования числителя по индивидуальному турниру:
= норморейтинг * коэффициент_турнира * затухающий_вес.
В формуле подсчёта рейтинга, используемой ЕМА, существует вторая компонента (с весом 50%) -- по лучшим 3-м турнирам игрока (см.Подсчёт рейтинга по ЕМА).

9. Что должен отражать знаменатель дроби рейтинга (для рассматриваемого в п.8 диапазона турниров с возможными поправками на неучастие) (отметьте одно):
а. простую сумму турниров, в которых участвовал игрок,
б. взвешенную на затухающие веса сумму турниров, в которых участвовал игрок,
в. взвешенную на затухающие веса и коэффициент турнира сумму турниров, в которых участвовал игрок,
г. другое.

10. Считаете ли Вы возможным изменить методику подсчёта рейтинга (отметьте одно):
а. "да", я считаю возможным, но не имею мнения, как это сделать,
б. "да", я считаю возможным, мне нравится подход ЕМА с комбинированием средних и лучших показателей,
в. "да", я считаю возможным, мне нравится подход с комбинированием лучших и последних показателей,
г. "нет", не считаю возможным изменять методику, достаточно модификаций, отмеченных в п.8,
д. "нет", не считаю возможным,
е. не имею мнения.

11. Значение рейтинга игрока (отметьте одно):
а. должно быть строго в диапазоне между 0 и 1,
б. (с домножением на 1,000) должно быть строго в диапазоне между 0 и 1000,
в. максимальное значение может быть выше 1,
г. (с домножением на 1,000) максимальное значение может быть выше 1,000,
д. не имею мнения.

Г. КВАЛИФИКАЦИОННО-РЕЙТИНГОВАЯ СИСТЕМА
Предположительно, рейтинг и ранги находятся в различных нишах: рейтинг отражает силу игрока на текущий момент времени, в противоположность, ранг/ разряд/ звание присуждается по совокупности (или лучшему из) достижений.

12. Понятие "ранг/ разряд/ звание" необходимо (отметьте одно):
а. определять по лучшему достижению игрока в индивидуальном турнире,
б. определять по совокупности достижений игрока, увязав его со значением рейтинга,
в. упразднить (объединить с подсчётом рейтинга),
г. не имею мнения.

13. Считаете ли Вы, что принципы подсчёта рейтинга, изложенные для очных турниров по спортивным правилам, должны также распространяться и на другие формы (отметьте все подходящие пункты):
а. на очные турниры по другим правилам маджонга (например, риичи),
б. на он-лайн турниры по спортивным правилам,
в. "да", принципы для любых форм должны быть стандартными,
г. "нет", другие формы имеют отличительные особенности, смешивать воедино ничего нельзя,
д. не имею мнения.
Последнее редактирование: 24 Сен 2012 21:28 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 01 Авг 2012 07:59 #8925

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Здесь будут комментарии от составителя опроса, ожидайте (пост будет дописываться)!
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 22 Сен 2012 15:49 #9041

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Опрос планируется к запуску в ближайшие 2-5 дней.
Просьба задавать вопросы по пунктам, требующим разъяснения.

Предположительно, по результатам опроса на дату, например, 1 ноября 2012 г. будет предложено новое голосование по 2-3 модифицированным вариантам для принятия окончательного решения.
Последнее редактирование: 22 Сен 2012 17:17 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 22 Сен 2012 15:55 #9042

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
В данном посте попытаемся разобраться с опциями п.9.
В. ФОРМУЛА ПОДСЧЁТА РЕЙТИНГА
Типовая формула рейтинга игрока представляет собой дробь, в числителе -- сумма набранных в индивидуальных турнирах результатов (домноженных на различные коэффициенты), в знаменателе -- учёт числа турниров (домноженных на различные коэффициенты) с поправками на неучастие.
Точнее, компонент суммирования числителя по индивидуальному турниру:
= норморейтинг * коэффициент_турнира * затухающий_вес.
В формуле подсчёта рейтинга, используемой ЕМА, существует вторая компонента (с весом 50%) -- по лучшим 3-м турнирам игрока (см.Подсчёт рейтинга по ЕМА).

9. Что должен отражать знаменатель дроби рейтинга (для рассматриваемого в п.8. диапазона турниров с возможными поправками на неучастие) (отметьте одно):
а. простую сумму турниров, в которых участвовал игрок,
б. взвешенную на затухающие веса сумму турниров, в которых участвовал игрок,
в. взвешенную на затухающие веса и коэффициент турнира сумму турниров, в которых участвовал игрок,
г. другое.
Предположим, что игрок сыграл в 3-х турнирах:
Т   НР  КТ    Вес
1  900   3   1.00
2  500   2   0.50
3  800   2   0.25
Здесь использованы сокращения "Т" = "Турнир", "НР" = "Норморейтинг", "КТ" = "Коэффициент_турнира", "Вес" = "Затухающий_вес".

Добавим в таблицу дополнительные метрики на основе домножения отдельных колонок, колонку "ЧТ"="Число турниров" и просуммируем метрики в строке "ИТОГО":
Т   НР  КТ    Вес      НР*КТ        НР*КТ*Вес       КТ*Вес  ЧТ
1  900   3   1.00 900*3=2700  900*3*1.00=2700  3*1.00=3.00   1
2  500   2   0.50 500*2=1000  500*2*0.50= 500  2*0.50=1.00   1
3  800   2   0.25 800*2=1600  800*2*0.25= 400  2*0.25=0.50   1

ИТОГО        1.75                        3600         4.50   3

Внимание, все компоненты получены, разбираемся с опциями п.9:
а. простую сумму турниров, в которых участвовал игрок,
=3600/3=1200,
б. взвешенную на затухающие веса сумму турниров, в которых участвовал игрок,
=3600/1.75=2057,
в. взвешенную на затухающие веса и коэффициент турнира сумму турниров, в которых участвовал игрок,
=3600/4.50=800.

Несмотря на кажущуюся "кашу", все три опции имеют реальный смысл.
После окончания любого турнира игрок получает показатель "НР*КТ". Этот показатель, ограниченный сверху значением 1000*КТ, имеет прямое толкование силы игры игрока на данный момент времени (а именно, в течение прошедшего турнира!). Чем выше место, чем сложнее турнир (или число и квалификация его участников), тем больше значение "НР*КТ". Этот показатель идеален для использования при присвоении званий.

Итак,
* опция "9.б" усредняет "НР*КТ" без затухания (т.е., без влияния времени),
* опция "9.а" усредняет "НР*КТ" с затухающим влиянием времени,
* опция "9.в" даёт текущий применяемый вариант подсчёта (без поправок на неучастие) ,финальное значение рейтинга всегда в диапазоне 0 -- 1000.

Может быть также интересна опция простого усреднения "НР*КТ" (в нашем случае имеем = (2700+1000+1600)/3=1767), что означало бы модификацию числителя типовой формулы подсчёта рейтинга.
Последнее редактирование: 24 Сен 2012 21:30 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 23 Сен 2012 12:23 #9046

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
В данном посте попытаемся разобраться с двумя опциями п.10.
10. Считаете ли Вы возможным изменить методику подсчёта рейтинга (отметьте одно):
...
б. "да", я считаю возможным, мне нравится подход ЕМА с комбинированием средних и лучших показателей,
в. "да", я считаю возможным, мне нравится подход с комбинированием лучших и последних показателей,
...
Основная проблема определения силы игрока, измеряемого через формализованную численную процедуру -- рейтинг, заключается в нахождения баланса учёта как показателей на длинной дистанции, так и самых актуальных.
Перефразируя, мы должны найти для формул "правильные" период учёта, уровень старения результатов, а также возможность сохранения лучших результатов.
При этом, при большом числе сыгранных турниров для подходов, опирающихся на "среднее" (а основная формула подсчёта рейтинга является лишь модификаций подсчёта среднего), происходит "зашлаковывание" -- результат не может быстро изменить своё значение даже при существенных изменениях в уровне игры игрока.
Последнее хорошо известно "марафонцам", при 20+ сыгранных играх на этапе результат уже не "прыгает" от своего среднего значения.

Каков выход?

Первый вариант предлагает ЕМА (см. опцию 10б.), комбинируя в долях 50%-50% два показателя: среднее (точнее, средневзвешенное, по стандартной формуле) по всем турнирам и среднее по лучшим N турнирам.

Второй вариант предлагает автор этих строк (см. опцию 10в.), комбинируя в долях 50%-50% два показателя: среднее по лучшим 3-м турнирам по среднее по последним сыгранным 3-м турнирам.
Этот вариант будет идеально работать с результатом по турниру = НР*КТ*Вес (максимальный результат турнира ограничен значением 1000*КТ).
Т.е., независимо от числа сыгранных турниров (3 или 20) на каждый момент времени игрок имеет результаты турниров (НР*КТ*Вес), которые не остаются фиксированные навечно (как при = НР*КТ), а понижаются с изменением затухающего веса.
Если игрок перестаёт играть, то его средние будут постепенно будут уменьшаться, а значит его рейтинг станет тоже уменьшаться.
Если игрок в последних турнирах начнёт демонстрировать уровень игры, существенно отличающуюся от существующего, то система будет в состоянии эти изменения учесть.

P.S. В обеих опциях при недостаточном числе сыгранных турниров разность дополняется нулевыми значениями.
P.P.S. Были использованы сокращения предыдущего поста: "НР" = "Норморейтинг", "КТ" = "Коэффициент_турнира", "Вес" = "Затухающий_вес".
Последнее редактирование: 24 Сен 2012 21:31 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 25 Сен 2012 23:00 #9052

  • Nom
  • Nom's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 828
Вообще не попала в опрос просто куча идей, каждая из которых способна улучшить рейтинг:
- подсчет "силы" турнира;
- учет международных турниров (есть такой вариант ответа, но непонятно, что станет с формулой подсчета, если большинство проголосует за этот пункт);
- ненормированный рейтинг игроков (то же примечание);
- варианты "штрафов" за неучастие и их отмены.
Я всё понимаю. Вариантов масса, и опрос будет слишком громоздким. Дискуссии ввиду малого количества активных участников взяться неоткуда. Но, может быть, Президиум в состоянии выработать несколько лучших, при этом принципиально различных схем рейтинга и уже их вынести на суд, а не каждый параметр в отдельности? Или это и есть следующий этап?
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 26 Сен 2012 06:18 #9053

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Павел, спасибо за комментарий! Постараюсь ответить вкупе на все поднятые моменты:
* да, международные турниры БУДУТ учитываться (с коэффициентом на основе числа участников по шкале, например, при 32 к=3, при 64 к=4, при 128 к=5),
* "нормированный" рейтинг, к сожалению, ставит крест на множестве идей (например, с теми же международными, я писал неоднократно),
* относительно штрафов и самой идеи какие турниры учитывать, должен прояснить п.8 (надеюсь),
* "силу турнира" можно реально корректно считать только при наличии ранговой компоненты и ненормированных рейтингов, а в случае международных турниров чисто технически сделать будет непросто (на данный момент, лучшей альтернативой является комбинированный подход определения коэффициента турнира на основе максимума от заявленного кэффициента и шкалы по числу участников).

А вообще, именно потому что идей множество мы хотели бы получить обратную связь от играющих масс.
Первый опрос -- "описательный", так сказать, "сбор мнений и тенденций".
Как я упоминал, ориентировочно 1 ноября (или ранее, если ответят 50-100 респондентов) будет запущен "чисто голосовательный" опрос, с минимальным (полагаю, 2-3) набором опций и вопросов для принятия окончательного решения.

Хотелось бы также отметить, что наличие секции А. поможет глубже посмотреть на контингент (чтобы увидеть КАК именно голосует играющая в турнирах масса).
Кстати, данные для анализа будут предоставлена в формате Excel (или ином, договоримся).
Последнее редактирование: 26 Сен 2012 06:27 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 30 Сен 2012 22:48 #9105

  • Nom
  • Nom's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 828
Из предварительных результатов опроса видно, что большинство склоняется к уже использующейся нормированной системе. Попробую еще раз поднять свой голос в пользу изменения подсчета в сторону ненормированной системы: т.е. рейтинг игрока не будет "сверху", а может стать настолько большим, насколько это возможно. Это кажется странным только на первый взгляд. В действительности абсолютно во всех "больших" видах спорта всевозможные рейтинги, личные или командные, являются ненормированными. Так, например, в шахматах (которые близки к нам не только по духу, но и по сути - это соревнования в личном зачете на турнирах с различным составом по количеству и силе игроков) используется именно такая система; более того, "сила турнира" там тоже определяется (в зависимости от силы участвующих игроков турниру присваивается категория) и в зависимости от этого начисляются очки за результат. Я думаю, не нужно в очередной раз повторять минусы нормированной системы, чтобы сказать, что ненормированная представляется гораздо более удачным выбором.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 01 Окт 2012 06:42 #9109

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Хочу поддержать Павла.
Мы имеем по опросу всего 9 респондентов (по-хорошему, должно накопиться не менее 20, это мало, однако, какие-то тренды вырисовываются.

Основная проблема, которую я увидел. респоденты отметили, что в зачёт должны идти и турниры EMA и WMO.
Очень не хочется думать (за респондентов), что под иностранными турнирами имелось в виду "условно-иностранные", т.е., российские,но с MERS коэффициентом.

Возвращаясь, опять к теме норморейтингов, основная проблема в том, что получаемые россиянами НР с иностранных турниров на порядки ниже, чем на российских, а уровень игров и их на количество -- на порядки выше
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 01 Окт 2012 08:20 #9110

  • Bolal
  • Bolal's Avatar
  • Вне сайта
  • Модератор
  • Сообщений: 610
Коллеги, конечно, 9 ответов, и, даже, 20 - это мало для принятия серьезных решений. Я считаю, что Федерация обязана идти на встречу игрокам и получать обратную связь всеми возможными способами. Поэтому, я предлагаю задействовать почтовую рассылку по электронным адресам участников предстоящего турнира в Москве. Он, как мне кажется, будет весьма представительным. Я направлю Виталию список адресов. Виталий. я думаю тебе не сложно будет подготовить опросник в виде pdf с вопросами + ссылки на опрос на сайте? Произведешь рассылку по адресам с уведомлением о доставке и определением контрольной даты ответа (например, 20-25 октября) и проконтролируешь заполнение и возврат опросников. Как тебе такое предложение?
Все о маджонге в моем блоге ВКонтакте vk.com/id297923
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 01 Окт 2012 09:34 #9113

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Предложение поддерживаю, только прошу пару дней, завал на работе, могу сразу не успеть..
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 01 Окт 2012 20:29 #9122

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
В ожидании списка мейлов провёл СПАМ-акцию, в чате МТ послал сообщение на 59 ников такого содержания:

"приветствую! от лица федерации просим поучаствовать в опросе по изменению рейтинговой системы. Заранее извините, если уже проходили. Спасибо! Вот линк questionpro.com/t/AIYkCZOOlO "

Отнимем 11 ответивших и 10 неживых эккаунтов, итого имеем контакт с 30+ потенциальным респондентами.
Последнее редактирование: 01 Окт 2012 20:33 от Combo.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 07 Окт 2012 13:05 #9135

  • Combo
  • Combo's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 3177
Отвечаю на вопрос Павла в этой теме, чтобы не флудить в теме "Опросы".
Набор вариантов не удовлетворил, свое мнение написал в поле "Другое".
Павел, спасибо за мнение.
Если принимать саму концепцию "сложности турнира", то она не вполне созрела для использования.
Если для российских турниров можно как-то посчитать от турнира-к-турниру (борясь с нюансами рекуррентности и повторных прогонов, типа использования полученных НР для определения этого же турнира), то для иностранных вообще беда :(.
Пока ЕМА считает общий рейтинг НОРМИРОВАННО (т.е. некой взвешенной манипуляцией относительно НР индивидуальных турниров), то определить силу иностранного игрока не представляется возможным применяя "внешние" показатели. (Можно, конечно же, оценивать силу иностранного игрока по среднему от игроков, занявших места вокруг рассматриваемого, так делают, но это тоже как-то притянуто за уши).
ЕМА столкнётся с некоторой проблемой уже обрабатывая 4-й чемпионат РФ. Не трудно увидеть, что даже при нулевом выступлении на чемпионате у Натальи Чичигиной есть возможность возглавить ВЕСЬ список ЕМА (по НР), при этом, не участвуя НИ В ОДНОМ иностранном турнире. (Тут есть нюанс, Чичигины собрались на чемпионат мира, но я слышал версию, что ЕМА совсем не обязательно будет учитывать эти результаты).

Консолидируя, я поправлю мини-опрос новой опцией.
Хотя, ИМХО, пока мы не считаем по российским турнирам рейтинг с учётом силы турнира, заикаться о подобном подходе для иностранных не вполне обоснованно.
Администратор запретил публиковать записи.

Re: Обсуждение настроек опроса по изменению рейтинговой системы 07 Окт 2012 14:38 #9136

  • Nom
  • Nom's Avatar
  • Вне сайта
  • Administrator
  • Сообщений: 828
Combo wrote:
Пока ЕМА считает общий рейтинг НОРМИРОВАННО (т.е. некой взвешенной манипуляцией относительно НР индивидуальных турниров), то определить силу иностранного игрока не представляется возможным применяя "внешние" показатели. (Можно, конечно же, оценивать силу иностранного игрока по среднему от игроков, занявших места вокруг рассматриваемого, так делают, но это тоже как-то притянуто за уши).
Еще как возможно. Ввести в единую базу все турниры ЕМА + российские, считать рейтинг европейских и российских игроков по единой формуле, а российский рейтинг получать из общего путём вычленения и опубликования результатов российских игроков. Могу сразу ответить на возражение, что долго, трудно и невозможно. Я уже так делал, причем вручную, и остановило меня только отсутствие хорошей формулы подсчета. Если же удастся получить базу турниров ЕМА, то можно "измываться" над ней вообще сколько угодно, проверяя различные подходы к формуле и коэффициенты и получая результат в автоматическом режиме.
Администратор запретил публиковать записи.
  • Страница:
  • 1
  • 2
  • 3
Время создания страницы: 0.241 секунд
You are here Forum Форум сайта mahjong.ru Федерация Обсуждение настроек опроса по изменению рейтинговой системы