О качестве будет говорить количество жалоб и решений ареопага. Я о том, что ты сразу увидишь, ОВСЧ судил арбитр или чемп провинциального города.
Про апели очников — есть такой момент. Пока в планах просто спрашивать АЖ, сколько было апелей. У нас не безумное количество очников, в ручном режиме несложно. Дальше, если приживётся, можно улучшить и оптимизировать.
Имхо разные могут быть варианты. Иногда в апеле 3 аргумента, арбитры опровергли 2 и проигнорировали 3-й. Это плохо, но некритично. А иногда (живой пример) арбитры пишут, что при сжатом кулаке тыльная сторона ладони как раз не видна. Возможно, это не повод снимать вопрос. Но уже то, что арбитры поленились проверить, что такое упомянутая в вопросе тыльная сторона ладони — имхо повод поставить им «неуд» за рассмотрение апелляции.
Так это и сейчас видно, что судил арбитр — заходишь на его страницу и смотришь…
Именно об этом я Егору и говорю: ты не можешь по вердикту понять, поленились ли судьи или просто решили не упоминать об этом в вердикте, потому что «и так понятно».
Если АЖ упомянуло неверный факт, назвав его верным, значит АЖ точно ошиблось, даже если это не влияет на вердикт по апелляции.
Я тогда запутался, что тебя не устраивает. Я предпочту арбитра, который рассмотрел 30 апелей без жалоб на ОВСЧ, арбитру, который рассмотрел 40 апелей без жалоб на чемпионатах провинциального города. Кто-то может предпочесть второго, его право. Главное, что эта инфа будет видна сразу, даже открывать послужной список не обязательно.
Типичный пример.
Апелляция: «Вопреки сказанному в вопросе, Набоков не сравнивал ИКС с ИГРЕКОМ».
Текст вердикта: «Да, возможно, сравнение Набокова странное, но уж какое есть».
Точно не можем понять, «неудачно написан» этот вердикт или это как-то иначе называется?
Из твоего примера следует, будто вердикт АЖ ошибочен, так что для подтверждения твоего тезиса он, кмк, не очень хорошо подходит, ведь если вердикт ошибочен, то его оценка очевидно должна быть одной из базовых, а не той, что предложена тобой.
Меня не устраивает одна из предлагаемых метрик, при которой отсутствие жалоб приравнивается к хорошей работе.
Сбор более подробной статистики в одном месте меня в целом устраивает, но при этом кажется, что эта задача и так в достаточной мере реализована на турнирном сайте. То есть будет более подробная статистика — хорошо, нет — не сильно потеряем от этого.
Если бы в тексте вердикта АЖ попробовало поспорить с апелляцией, а не со своими фантазиями, то и вердикт имел бы шансы оказаться нормальным.
Не приравнивается. Даются метрики, каждый имеет право их трактовать, как хочет.
Метрики:
Как пользоваться этими метриками, каждый орг решает сам. Кому-то важнее первая метрика, кому-то пятая.
Идеально объективна ни одна метрика не будет, да. Может при абсолютно равных условиях разные редакторы — один пишет спорные вопросы, а второй идеальные. Но эта инфа даст гораздо больше информации, чем видно сейчас.
Возможно, я не совсем точно выразился. Скорее даже не нравится то, что позитивная информация о количестве «верно» отсуженных апелляций по текущим условиям будет игнорироваться, в результате чего статистика будет перекошена. Хочется чтобы судить можно было не по отсутствию негатива, а по наличию позитива (количество турниров и апелляций об этом мало говорит).
Тоже хотелось бы, но идея с молоточками мне не нравится. Впрочем, если решите возродить их, вопрос будет снят.
На данный момент оценка происходит тоже по негативу, но этот негатив приходится держать в уме.
Можешь пояснить эту мысль?
При обдумывании, хороший ли это будет арбитр, орг пытается вспомнить, не было ли у него каких-то вопиющих ошибок. Пересчитывать удачно рассмотренные апелляции или положительные отзывы о работе в АЖ… как минимум очень сложно, не думаю, что кто-то так делает. Может единичные орги.
А есть ли у тебя свидетельства, что так делает кто-то (возможно, кроме тебя)? Просто я, например, зову как раз тех, кто отсудил хорошо. Негатив работает только в случае, если я работал сам с арбитром и мне не понравился его подход и/или сформулированные вердикты на турнире, на котором я играл (с ходу в моём «чёрном списке» всего два арбитра при немалой так-то практике) — но в этом случае я просто не зову этих людей сразу.
Есть несколько. Ну и по срачам о спорных решениях АЖ это заметно. Да даже вчера в обсуждении этой темы в ТГ арбитров таким образом оценивали.
Поболтать в телеграме и выбирать арбитров для турнира это разные вещи.
В общем, есть сильное сомнение, что сейчас на негатив ориентируются хотя бы подавляющее большинство организаторов. Скорее всего, всё просто хаотично происходит.
С хаотично согласен. Но в редких случаях оценки вспоминают трахнутую овцу, а не построенные мосты. Даже твой блэк-лист так работает. И это нормально.
Нет, мой блэклист работает не так; я вроде выше объяснил, что там либо подход, либо вердикты, единичные ошибки я не запоминаю.
Я считаю, что уже сам факт наличия блэк-листа подтверждает оценку по негативу. Просто по определению. Но не стану спорить.