Вопрос о рейтинге

Текущие формулы расчета рейтинга существуют в практически неизменном виде уже довольно много времени.
Комиссия по рейтингу МАК последние годы скорее занималась улучшением функционала сайта рейтинга, чем непосредственно рейтингом.
Считаете ли вы, что рейтинг в своем нынешнем (допандемийном) состоянии выполнял свои функции? Нужно ли, на ваш вгзляд, что-то предпринимать в этом направлении, и если да, то что?

4 симпатии

На мой вкус три самые явно выпирающие проблемы:

  1. Рейтинг считается по-разному в зависимости от того, являются ли одни и те же шесть человек, сидящие за столом, командой с БС или сборной. Это нужно поправить.
  2. Рейтинг очень сильно поощряет игру вчетвером/втроём. Это абсурдно и создаёт простор для манипуляций.
  3. Ну и старая добрая инфляция.

В остальном текущие формулы, скорее всего, можно сделать лучше (например, поэкспериментировать с балансным индивидуальным рейтингом), но на мой вкус, уже фикс указанных выше проблем при сохранении основного принципа текущих формул сделает жизнь сильно лучше, а рейтинг ближе к реальности.

Есть и ещё одна вещь, не связанная с формулами прямо, но которую я сам считаю большой проблемой. На мой взгляд, рейтинг категорически нельзя использовать для отбора каких-либо команд на какие-либо турниры. Поскольку в этом случае команды получают много дополнительных стимулов для попыток манипуляции своим рейтингом. Пусть у рейтинга останется функция пузомерки, полезной для популяризации игры.

7 симпатий

Обязательно нужно, я много думал об этом и собираюсь активно заниматься. Функции он, конечно, выполнял, но всё хуже и хуже. Текущие коэффициенты подбирались для других условий. Прежде всего, нужно ввести в формулы подавление инфляции, которая даёт необоснованное преимущество играющим чаще. Более интересная задача - ввести в рейтинг ещё один элемент (кроме балансности) Эло-системы: вывод (в зависимости от соотношения рейтингов участников турнира ожидаемого места) на основе вероятностного распределения исходов игр между командами с разными рейтингами. Тем самым даже для лидера посева математически ожидаемым местом никогда не будет точно первое: всегда существует ненулевая вероятность проигрыша любой команде, и для первого места одновременно все эти вероятности не должны реализоваться. Это позволит уйти и от экспоненциальных костылей, и от известного бага последнего места, а также позволит проверить гипотезы о различном влиянии на рейтинг турниров различных типов (очников и синхронов, длинных и коротких, одноэтапных и многоэтапных) и учесть эти особенности в дальнейшем. (Справедливости ради, эта идея не моя, она уже очень давно высказывалась Егором Куликовым).
Кроме того, работу сайта рейтинга желательно пересматривать с точки зрения интеграции с лентой новостей о турнирах и базой вопросов, а также с точки зрения финансовой модели. Ну и интерфейс, конечно, тоже.

4 симпатии

Улучшить можно все, что угодно.
Скажем так, на уровне “Если кит нападет на слона, кто кого сборет” рейтинг позволял прикинуть силу той или иной команды, а иногда - и конкретного игрока.
Но допиливать, конечно, надо - но тут у меня слабоват математический аппарат для понимания, как именно это сделать.

Считаю, что в целом выполнял, но нет предела совершенству.
Вижу такие возможные направления работы:

  • определить, зачем нужен и не нужен рейтинг
  • в соответствии с этим определить критерии его успешности
  • в соответствии с этим определить, какие турниры должны и не должны рейтинговаться
  • проверить, насколько разные алгоритмы этому соответствуют
  • выбрать наиболее подходящий.

Да, неизменность формул - важное достоинство текущей рейтинговой системы.
Да, считаю, что то рейтинг в нынешнем (допандемийном) состоянии выполнял свои функции.
Основной проблемой собственно рейтинга считаю отказ ряда топовых команд от базовых составов. Здесь возможны три пути решения (в порядке эффективности): а) введение обязательности наличия базовых составов для допуска на статусные турниры (чемпионаты стран, ЧМ и т.п.) и переговоры с бессоставными командами об условиях ввода базовых составов; б) возобновление отображения “зелёных” и “серых” команд (отменено по требованию руководства МАК); в) система динамических базовых составов.

Я считаю, что рейтинг нужно поменять, но у меня нет хорошей идеи, как. В случае, если я окажусь в составе исполкома, я постараюсь привлечь разбирающихся в вопросах различных рейтинговых систем людей, и в сотрудничестве с командой сайта рейтинга рассмотреть, как работают альтернативные формулы.

2 симпатии

Сейчас рейтинг не является ни частью МАК, ни новой организации. Мы не можем дать выдвигать им какие-то требования. У меня была попытка создать частную инициативу по изменению алгоритма, мы собрали некоторую группу интересующихся, включая администраторов рейтинга, но это пока не дало каких-то результатов.

А так, действительно вопрос актуальный и не раз поднимавшийся. Только решения, устраивающего всех так и не нашли :frowning:

1 симпатия

Меня как раз меньше волнует формула, чем функционал, который откровенно устарел для реалий 2021 года. Формула расчета может быть любой, но единой для всех. Я не уверен, что следует вносить какие-то радикальные перемены в систему подсчёта цифр.

3 симпатии

Я оставил бы в начале работы новой организации старую формулу рейтинга - для преемственности. И, параллельно с этим, предложил бы заинтересованным в изменении формулы рейтинга создать рабочую группу в рамках новой организации, чтобы обсуждать возможные варианты изменения рейтинга.
У меня самого, как игрока из третьей тысячи, нет особых претензий к нынешней формуле рейтинга :slight_smile:

Я считаю рейтинг в нынешнем состоянии весьма условным, потому что он никак толком не учитывает уникальную химию составов. Например, я могу сыграть с двумя игроками примерно одной силы, но с одним мы будем бить в одни и те же темы, суммарный результат не сильно отличим от индивидуального. А с другим накроем комплементарно, получим если и не удвоение, то всё же результат кратный.

Я бы вернулся к Сергею Николенко, который, кажется, единственный по-настоящему изучил этот вопрос с научной точки зрения. Но также отмечу, что и он не пришёл к какому-то однозначно качественному решению. Тем не менее, его подход с оглядкой на рейтинги киберспорта кажется единственным потенциально подходящим (там тоже очень важен момент игровых амплуа и совместимости игроков).

1 симпатия

С математической точки зрения я глубоко не вдавался в то, какие из предлагаемых вариантов формулы могут быть лучше, но «на глаз» кажется, что текущая формула рейтинга неплохо сортирует команды по их силе. На мой взгляд, в допандемийном состоянии рейтинг неплохо справлялся со своей функцией, особенно если бы из него не самоисключился ряд сильных команд.

3 симпатии

Егор, спасибо за вопрос, я рад узнать, что он интересен не только мне. :blush:

Я считаю, что существующий командный (подчёркиваю) рейтинг, безусловно, в какой-то мере выполнял свои функции – он приблизительно отражал силу играющих команд и, при всех имеющихся недостатках, создавал определённый спортивный стимул. Более того, я считаю, что с этой задачей нынешняя система подсчёта рейтинга справляется лучше предыдущих. Тем не менее она вовсе не кажется мне идеальной. Поскольку я знаком и с математической статистикой, и системой подсчёта рейтинга Эло в шахматах, у меня есть ряд идей по улучшению системы, которые можно разделить на две разные группы:

  • Улучшение существующей (аддитивной, Эло-подобной) системы, сведение к минимуму имеющихся недостатков как новыми методами, так и методами, давно применяющимися, например, в тех же шахматах.
  • Разработка полностью альтернативной системы, свободной от большинства недостатков как существующей, так и предыдущих систем, которые в первую очередь страдали от неконтролируемой инфляции.

Соответствующие идеи вызревали у меня достаточно давно; основные методы работы в обоих направлениях, в общем-то, известны: уменьшение влияния эмпирических факторов, связь которых с силой игры и постоянство которых во времени вызывают сомнения, плюс уменьшение влияния результатов команд с нестабильным рейтингом (очевидный вариант – недавно образованная команда, официальный рейтинг которой наверняка никак не отражает реальную силу игры; менее очевидный вариант – любая команда, результат которой значительно отличается от ожидаемого: и внезапный провал одного из фаворитов, и внезапный выстрел одного из аутсайдеров попадают в эту категорию, т.к. провал фаворита – не заслуга команд, которые его обошли, а в разовом успехе аутсайдера не виноваты, возможно, десятки команд, которые сыграли в свою обычную силу) на результаты соперника: т.е. результат команды с нестабильным рейтингом сохраняет влияние на рейтинг этой команды, но не учитывается совсем или оказывает малое влияние на изменения в рейтинге соперников. С удовольствием бы обсудил возможные идеи с комиссией по рейтингу.

Другое дело, что, насколько я понимаю текущую ситуацию, проблема с улучшением системы состоит не только и не столько в нежелании перемен: сайт рейтинга работает на энтузиазме и очень условном финансировании, которое сокращает возможности, например, для экспериментов, которые позволили бы протестировать адекватность той или иной модели.

1 симпатия

Честно говоря, я не вникал глубоко в формулу. Следил за рейтингом по Беларуси, в рамках топ-15 страны он отражал реальную силу и положение команд. Отдельные странные результаты встречал, например, когда победа приносит +3 балла, а второе место принесло бы -100, но в глобальном плане считаю, что рейтинг выполнял свои функции.

Основная проблема формулы на данный момент - неадекватные оценка силы и прогноз результата сборных команд. Тк техрейтинг сборных рассчитывается из аддитивного личного рейтинга, а рейтинг регулярных команд - балансный.
Нужно тестировать формулы, улучшающие предсказательную силу результатов сборников. В остальном со своей функцией рейтинг справляется.

2 симпатии

Рейтинг выполнял какие-то функции, которые кого-то вполне устраивали. Были и те, кому хотелось чего-то большего - это нормально. Мне лично рейтинг в нынешнем виде нравится как информационно-статистическая система, ценность которой больше в хранении всей информации. Со спортивной точки зрения рейтинг сейчас не справляется с тем, чтобы иллюстрировать реальную силу команд и отдельных знатоков в целом. С ходу не скажу, что работает не так, но необходимость перемен, имхо, назрела очевидным образом.

Идеальных рейтингов не бывает. Допандемийный рейтинг в целом был адекватным, возможны косметические улучшения (например, защита от “игры на удержание рейтинга от штрафа” и более адекватное отображение силы сборных), но кардинально я бы ничего не менял.

2 симпатии

У нынешней формулы есть один недостаток: 1500 турнирных очков сейчас — это не 1500 турнирных очков несколько лет назад. Идёт инфляция, которая не позволяет адекватно оценить силу команды и сложность турнира.

Наверняка в сообществе есть специалисты-математики, которые могли бы решить проблему адекватной оценки силы команд. Хорошо бы было их привлечь.

Личный рейтинг никуда не годится, но это и не столь важная проблема.

1 симпатия

Я ещё в составе комиссии по рейтингу пытался продвигать идею Кнопа об отделении базы турниров от рейтинга и предоставлении доступа к ней по АПИ, чтобы сделать возможным свободное экспериментирование с другими рейтингами. В составе исполкома собираюсь продвигать её дальше.

3 симпатии

Наверное, с моей точки зрения рейтинг выполнял функцию базы турниров, а не условного ранжированного списка сильнейших команд/игроков. По самому вопросу я не обладаю даже поверхностной компетенцией, но не вижу ничего плохого в том, чтобы заинтересованные люди могли проводить эксперименты с формулой рейтинга.

4 симпатии