Ср. Июн 16th, 2021
Contest Winners

В сообществе Free TON прошел конкурс, в котором участники получили уникальную возможность поменяться местами с судьями и оценить тех, кто обычно оценивает работы конкурсантов жюри Free TON.

Одной из особенностей Free TON является активное привлечение конкурсных процедур для развития сообщества и проекта в целом. Конкурсы предназначены для распределения токенов среди победителей, усовершенствования инструментов блокчейна, а также создания интересных и полезных продуктов для сообщества. Жюри сообщества оценивает конкурсные заявки, выставляя баллы либо отклоняя работы, тем самым формируя рейтинг заявок и определяя победителей.

После проведения конкурсов с большим количеством участников (около сотни и более), а также посвященных творческой тематике (эссе, герои, видео) деятельность жюри внезапно привлекла внимание многих членов сообщества Free TON. Некоторые судейские решения вызвали волну горячих споров и дискуссий, которые в итоге сформировали запрос на ревизию судейской деятельности.

В ответ на ожидания сообщества Субуправление аналитики и поддержки  (Analytics & Support Subgovernance) выступило с инициативой изучить и оценить работу жюри. Был проведен конкурс, участникам которого предложили разработать показатели эффективности жюри — унифицированные, либо специфичные для Субуправления или профессиональной области. На основании показателей следовало проанализировать эффективность нескольких или всех жюри Free TON.

Предлагаем вам ознакомиться с основными результатами и выводами по конкурсу.

Победители конкурса

Первое место

Работа № 31, занявшая первое место, реализует сразу несколько ключевых задач:

  • сбор статистических данных, связанных с судейской деятельностью;
  • преобразование данных в показатели судейской активности;
  • создание графического интерфейса, обеспечивающего простое и ясное взаимодействие с пользователями.

Среди вышеперечисленного, именно модель интерактивного интерфейса является важнейшей и самой сильной стороной работы. К тому же, данная разработка — это абсолютно уникальное предложение среди всех идей, реализованных конкурсантами.

В целом, работа представляет собой систему интерактивных панелей (Dashboards), где данные распределены по трем основным разделам: показатели, судейство, судья.

На первой странице доступна информация как по сообществу в целом, так и по каждому субуправлению в отдельности. Пользователи сами решают, какую группу данных необходимо отобразить и устанавливают нужный параметр. Кроме статистических данных по субуправлениям, конкурсам, заявкам и голосованию здесь представлены общие показатели эффективности жюри. Идея автора заключается в графическом отображении общего рейтинга жюри (ТОП-10 или всего списка) на основании нескольких параметров.

На второй странице доступна общая статистика конкурсов и основные параметры судейства. Все данные можно отфильтровать по проекту в целом, по каждому субуправлению и по отдельному конкурсу. В качестве дополнительного изучения судейства предлагается кросстабуляция, в которой представлен процент совпадений в оценках между разными членами жюри в конкретных конкурсах и в целом. По мнению автора, такие данные позволяют устанавливать факты синхронного голосования и скрытые соглашения судей.

На третьей странице отображается личная статистика каждого члена жюри. Представлена подробная информация о персональной активности на форуме Free TON и в Телеграм. 

Отдельный блок касается судейской активности, на основании следующих показателей: 

  • процент голосования;
  • процент полноты голосования;
  • количество голосов;
  • количество оценок «воздержаться» и «отклонить»;
  • средняя оценка выставляемая членом жюри;
  • сумма вознаграждения, полученная за судейство.

Кроме этого, графически проиллюстрировано отклонение балла, выставленного судьей по каждой работе, от среднего балла, данного другими судьями.

Таким образом, работа представляет собой перспективный инструмент сбора, анализа и отображения данных по судейству во Free TON. Разработка пока не содержит полностью проработанных решений оценки эффективности жюри, однако имеет потенциал интегрировать любые новые подходы анализа и оценки судейства. К тому же хорошая визуализация снижает порог вхождения в проект для всех заинтересованных и повышает степень взаимодействия с сообществом.

Второе место

В работе № 29 обозначены основные проблемы, снижающие эффективности судейства, и предложены варианты решения этих проблем. Кроме этого разработаны критерии анализа судейства и продемонстрировано их использование на примере изучения голосования в конкурсе Виртуальный герой Free TON.

Автор полагает, что основное препятствие на пути эффективной реализации судейских задач – это некорректно составленная заявка конкурса (Contest Proposal), в которой не прописана методология выставления оценки. Поэтому для каждого конкурса должна разрабатываться специальная система критериев, которая ориентирует жюри в целях и приоритетах конкурса. 

В качестве факторов снижения эффективности упоминается отсутствие влияния оценки «отклонить» (reject) на средний балл заявки, некачественные (неинформативные) комментарии жюри, а также возможность судей не знакомиться с конкурсными работами, копируя баллы, выставленные другими жюри. 

Соответственно, предложены решения: 

  • учесть в подсчете среднего балла вариант «отклонено»;
  • обязать жюри писать развернутые комментарии;
  • скрыть выставляемые баллы до окончания голосования;
  • предоставить сообществу больше информации о времени и последовательности голосования каждого члена жюри;
  • ввести систему штрафов для судей вплоть до исключения из состава жюри.

Что касается критериев оценки эффективности, автор использует следующие два:

  1. Процент выполненной судьей работы, т.е. количество оцененных работ к общему количеству заявок.
  2. Отклонение оценки, выставленной судьей, от среднего балла, полученного на основании голосования других судей.

Второй показатель является ключевым и для более детального анализа он используется в различных вариациях, учитывая отклонения в сторону занижения оценки (в таблице красным) либо ее завышения (в таблице зеленым), как во всех работах, так и отдельно в призовых.

Работа демонстрирует последовательный и аргументированный подход к анализу. Сначала описывается общий алгоритм использования критериев, а затем разработанные фильтры применяются к результатам конкурса Virtual Hero, показывая как с помощью них можно выявлять недобросовестных судей.

Третье место

В работе № 18 представлен критический и поэтапный подход к разработке и применению критериев оценки деятельности жюри. 

Первоначально автор апробирует пять основных показателей голосования на примере анализа данных конкурса Эссе. Затем рассматривает аналитический потенциал этих метрик применительно к оценке работы жюри и формирует набор показателей для итогового отчета деятельности судей в разных субуправлениях. 

Полученные результаты позволяют сделать выводы о степени участия жюри в голосовании, строгости в оценке конкурсных работ, степени их влияния на распределение оценок и формирование рейтинга работ. Кроме этого, можно сделать вывод о независимости и разносторонности в оценивании, основываясь на результатах анализа уникальности и аргументированности комментариев судей. При этом автор критично оценивает собственные результаты и утверждает, что они лишь характеризуют вовлеченность судей в голосование, и не позволяют прямо оценить их эффективность.

Проблемы судейства

Основные проблемы голосования, которые описали многие конкурсанты, касаются нескольких аспектов судейской деятельности.

Во-первых, недостаточное участие и вовлеченность жюри, которая проявляется в виде игнорирования голосования как такового, а также голосования в последний момент, выставления случайных баллов или копирования баллов коллег вследствие поверхностного ознакомления с работами либо полного отказа от их рассмотрения.

Во-вторых, чрезмерная степень субъективности жюри. Она проявляется в виде демонстрации судьями своих персональных предпочтений без их связи с интересами сообщества и требованиями конкурсов. Кроме этого уровень субъективности возрастает в тех случаях, когда членам жюри приходится судить конкурсы, не связанные с их квалификацией и профессиональным опытом.

В-третьих, отсутствие прозрачности в оценивании. Данный аспект тесно связан с описанной выше проблемой субъективности. Подход к формированию балла остается на усмотрение судьи и является закрытой для сообщества информацией. Это создает почву для домыслов и обвинений судей в некомпетентности. Поверхностность и непоследовательность в оценивании неизбежны в ситуации отсутствия четких критериев и ориентиров.

Предложения по усовершенствованию судейства

Во конкурсных работах участники не только проанализировали данные о текущей судейской деятельности и обозначили проблемные аспекты, но также выдвинуты предложения по усовершенствованию процесса.

Примечательно, что предлагаемые меры по улучшению судейства в основном призваны защищать интересы конкурсантов и в меньшей степени учитывают текущие интересы проекта Free TON и реальные возможности судей.

Среди предложений есть варианты о введении квалификационных уровней жюри и дифференцированного подхода к вознаграждению судей в зависимости от их уровня, а также от количества оцененных заявок. Предлагается использовать штрафные баллы и санкции в отношении жюри за неучастие в голосовании и недобросовестную работу (соответствующие примеры наглядно описаны в работе № 17).

Кроме этого, особое внимание уделяется комментированию в голосовании. Высказываются мнения о необходимости повышения качества комментариев: увеличении степени их уникальности, информативности, аргументированности и этичности суждений.

Однако наиболее целесообразным выглядит предложение создания таблиц с критериями оценивания, которые формируют балл, выставляемый судьей. Они могут содержать как универсальные, так и специфические наборы критериев для каждого конкурса.

Проблема судейских комментариев

Поскольку комментирование судей в голосовании анализируется не только в конкурсных работах, но и активно обсуждается в чатах и на форуме сообщества, обозначим несколько важных моментов.

Почему комментариям уделяется столько внимания? 

Безусловно, это интересный фрагмент коммуникации судей и сообщества, однако важнее тот факт, что комментарии являются единственным ключом к пониманию баллов, выставленных жюри. Нет больше ничего, что может прояснить ситуацию. Неудивительно, что к комментариям начинают предъявлять повышенные требования. Такие, которые становятся практически невыполнимыми, если учесть реальные возможности судей в конкурсах с большим количеством заявок.

Как можно убрать фокус с комментариев?

Предложив прозрачную открытую систему оценивания по критериям. В таком случае необходимость в комментировании либо полностью отпадает, либо комментарии могут остаться как дополнение, как факт живой обратной связи, в которой допустимо высказывать субъективное впечатление.

Показатель эффективности и мнение сообщества

В конкурсных работах проанализированы различные характеристики деятельности жюри. Однако не все из них необходимы для формирования  показателя эффективности судейства. Эффективность должна включать ясные четко измеряемые критерии и основываться на требованиях предъявляемых судьям. Если на основании показателя эффективности члены жюри будут поощряться либо штрафоваться, то требования не должны быть трудно выполнимыми.  Они должны учитывать текущую стадию развития проекта Free TON и реальные возможности судей.

Многие характеристики, не включенные в показатель эффективности, остаются важной и наглядной демонстрацией особенностей судейской активности.  Они помогают выявлять интересные факты качества работы жюри, привлекать к ней внимание сообщества и влиять на репутацию судей. Таким образом, судейская деятельность может регулироваться как автоматизированным параметром эффективности, так и общественным мнением.

Мы продолжим знакомить вас с продвижением вопроса эффективности судейства и в скором времени представим вам мнения известных персон сообщества о проблемах и перспективах судейской системы Free TON.

10
0