Ср. Авг 4th, 2021
    Subgovernances Efficiency Analysis

    Сообщество провело конкурс, в котором участники оценили работу субуправлений Free TON — специализированных групп, которые занимаются развитием проекта в конкретных направлениях: программная разработка, децентрализованные финансы, медиа, дизайн, аналитика и др. 

    Результаты конкурса не позволяют сделать однозначный вывод о том, какое из субуправлений оказалось наиболее успешным, однако дают интересные идеи на перспективу.

    В 2020 году сообщество Free TON провело много мероприятий, связанных с заключением партнерств, специализацией деятельности в рамках различных субуправлений и организацией разнообразных конкурсов. Вся проделанная работа должна способствовать развитию проекта, а особенно постепенному воплощению принципа децентрализации — привлечению различных участников и распределению между ними токенов.

    Находясь внутри такого значимого и стремительного процесса, невозможно не задаться вопросом об успешности проделанной работы и правильности выбранных направлений. Чтобы помочь с оценкой текущей ситуации и ответами на важные вопросы развития, субуправление «Аналитики и поддержки» (Analytics & Support Subgovernance) выступило с рядом инициатив:

    • провело конкурс по анализу эффективности членов жюри, отвечающих за судейство конкурсов;
    • провело конкурс по анализу эффективности деятельности субуправлений Free TON;
    • запланировало оценить партнерства, заключаемые сообществом Free TON.

    Два первых конкурса стартовали одновременно и часть конкурсантов подали заявки сразу на оба, что, возможно, снизило степень готовности материалов. При этом конкурс по оценке деятельности субуправлений оказался более сложным для участников — из работ, занявших три первых места, только одна набрала более шести баллов (7,6 — если точно). Среди остальных заявок, попавших в призовую десятку, оказались работы со средним баллом ниже пяти.

    Конкурс проходил с 24 ноября по 12 декабря 2020 года и на момент его объявления в сообществе Free TON существовало 10 субуправлений. На текущий момент — 16.

    Предлагаем ознакомиться с основными результатами и выводами по конкурсу.

    Победители конкурса

    Первое место

    Наивысший балл получила заявка №25, автору которой удалось занять первые места сразу в двух конкурсах — и по анализу субуправлений, и по анализу жюри. В обеих работах конкурсант использует одинаковый подход: разрабатывает модель интерактивного интерфейса, в котором представлены статистические данные, а также итоговые показатели деятельности субуправлений. Вся информация размещена на интерактивных панелях (Dashboards) и сгруппирована на трех страницах-разделах:

    • Мотивация субуправления 

    Основная информация раздела касается использования токенов в субуправлениях: количество запрошенных, полученных и потраченных как на конкурсы, так и на административную деятельность. В виде диаграмм представлено сравнение данных разных субуправлений.

    • Конкурсы

    В разделе отображены различные параметры конкурсной деятельности субуправлений, на основании которых выделены характеристики, соотношение между которыми формирует показатель эффективности субуправления (KPI). В качестве характеристик используются такие как: количество субуправлений, конкурсов, заявок, победителей, судей и сумма их вознаграждений.

    • Таблицы

    На странице раздела можно сформировать таблицу данных на основании выбранных параметров для ее последующего экспорта.

    Сильная сторона работы заключается в возможности ее дальнейшего использования в качестве удобного инструмента для сбора, анализа и отображения информации о деятельности субуправлений. Показатели, предложенные автором, могут быть дополнены другими вариантами. Поэтому именно последующее внедрение станет наилучшим обоснованием данной победы.

    Второе место

    Работа №13, занявшая второе место, в гораздо большей степени удовлетворяет формальным требованиям конкурса.

    Во-первых, здесь предложены три группы метрик, каждая из которых характеризует успехи субуправления в одном из следующих направлений:

    • Медиа
    • Организационная деятельность
    • Конкурсы и выплаты

    Во-вторых, автором собран и проанализирован значительный объем данных по 9 субуправлениям.

    В-третьих, посредством формул данные преобразованы в процентные показатели, характеризующие деятельность субуправлений в рамках каждого из трех направлений.

    В-четвертых, на основании процентных показателей сформирован рейтинг субуправлений в рамках каждой группы метрик и по всем метрикам в целом.

    Как видим, использование сравнительного метода для оценки эффективности дало наглядную картину рейтинга субуправлений.

    Наряду с позитивной оценкой работы, судьи высказали замечания, касающиеся целесообразности показателей эффективности и прозрачности расчетов. 

    Однако, прежде чем согласиться с мнением членов жюри, стоит обратить внимание на одну особенность:

    Содержание многих работ демонстрирует попытку конкурсантов решить дилемму: четкие показатели не отражают реальность, а косвенные показатели не удовлетворяют требованиям конкурса.

    Что это означает?

    С одной стороны, доступных количественных параметров деятельности субуправлений недостаточно для разработки целесообразных и полноценных показателей эффективности. Поэтому предложенные варианты будут выглядеть «натянутыми», оторванными от реальности, произвольными.

    С другой стороны, попытка авторов уйти от создания четких критериев в сравнительный анализ и предложения на перспективу неизбежно вызовет критику в невыполнении требований и отсутствии конкретного результата.

    Автор рассматриваемой работы склонился к первому варианту и его разработке не хватило убедительного обоснования выбора индикаторов и методологии расчетов.

    Третье место

    Работа №16 завершает перечень заявок с наивысшими наградами. Ее  автор не выдвигает универсальных критериев эффективности, но сосредотачивается на анализе одного из субуправлений, что дает ему возможность подробно охарактеризовать успехи и недостатки работы конкретного направления. 

    В качестве примера выбрано субуправление «Веб и дизайн» (Web&Design Subgovernance). Его работа оценена по следующим критериям:

    • Степень реализации целей, поставленных при создании: используются количественные и качественные показатели.
    • Количество завершенных/действующих конкурсов. Оценка результатов завершенных конкурсов, их эффективность в соответствии с поставленными целями.
    • Анализ конкурсов на предмет полноты критериев по допуску работ и их оценкам.

    Работа представляет собой подробный отчет (32 страницы) по выбранным аспектам деятельности субуправления. Обработано большое количество материалов, а результаты представлены в виде таблиц и диаграмм.

    Кроме этого автор делает ряд замечаний и выносит предложения по повышению эффективности работы субуправления, что вызвало одобрение некоторых членов жюри. Примечательно, что идеи автора нашли быстрое применение и были использованы для конкурса дизайна поздравительных открыток, который провело субуправление «Веб и дизайн». Например, предложение добавить критерий публичности для популяризации творческих разработок: в  конкурсе появилось требование публикации работ в социальной сети.

    Наряду с положительной оценкой в замечаниях судей упоминались и недостатки: отсутствие автоматизации анализа и четких показателей эффективности, а также анализа других субуправлений.

    Другие идеи, заслуживающие внимания

    Некоторые участники поставили под сомнение возможность создания универсальных критериев, поскольку эффективность субуправлений (их способность выполнять работу и создавать необходимый результат) зависит от целей и задач, методов работы, привлекаемых ресурсов и особенностей влияния на развитие проекта Free TON. Эти параметры отличаются у различных субуправлений.

    Например, в работе №22 высказывается предположение, что для субуправлений, основной задачей которых является создание программных продуктов и процедур, индикатором может быть оценка степени/качества их разработки и внедрения. Тогда как для субуправлений, нацеленных на привлечение новых пользователей в инфраструктуру Free TON — рост трафика на специализированные ресурсы сообщества.

    Реализация принципа децентрализации как одна из важных целей деятельности субуправлений не часто упоминалась в работах конкурсантов. Поэтому обращает на себя внимание работа №28 (4 место в рейтинге), в которой автор использовал данные о распределении позиций в субуправлениях между их членами. Автор показывает, что примерно две трети всех членов субуправлений занимают лишь одну позицию (жюри либо инишиал). При этом 23 человека состоят более чем в одном субуправление (16 — в  двух, 5 — в трех, 1 — в четырех и 1 — в пяти). Конкурсант считает, что такие данные в целом говорят в пользу децентрализации управления и внимания заслуживает лишь тот факт, что количество позиций инишиалов (94) почти на треть превосходит количество позиций судей (69).

    Анализ работы субуправлений или оценка их эффективности?

    В целом работы конкурсантов были посвящены общему анализу деятельности субуправлений. Только немногие смогли оценить эффективность, предложив конкретные показатели, которые, впрочем, тоже подверглись критике. Такая ситуация связана с нетривиальностью поставленной задачи.

    Во-первых, для разработки целесообразного и реалистичного показателя эффективности необходимо понимание как стратегии развития проекта  Free TON в целом, так и задач конкретных субуправлений.

    Важно адекватно оценивать текущую стадию: не приуменьшать возможности, но и не поднимать планку слишком высоко. Неудивительно, что некоторые конкурсанты часть своей работы посвятили интерпретации понятия эффективности применительно к деятельности субуправлений. Это вполне может стать предметом отдельного конкурса.

    Во-вторых, необходимо было собрать и обработать большое количество данных, прежде чем приступить к оценке эффективности (конкурс длился 18 дней).

    Стоит учитывать, что первичные данные сообщества не представлены в форме, готовой для анализа. К тому же количественные данные о некоторых аспектах деятельности субуправлений отсутствуют. Конкурсантам приходилось собирать косвенную информацию и на основании качественных методов анализа переводить ее в показатели.

    Таким образом, участники конкурса пробовали ответить как минимум на два глобальных вопроса о субуправлениях Free TON:

    1. Что там происходит?
    2. И насколько это результативно?

    Так что ответ хотя бы на первый вопрос — уже хороший итог. До этого в сообщество не проводилось настолько масштабного и разностороннего изучения собственной деятельности. Поэтому результаты изыскания конкурсантов, их идеи и предложения могут способствовать дальнейшему развитию аналитической и прогностической деятельности внутри проекта Free TON.

    Есть основания ожидать, что субуправление «Аналитики и поддержки»  извлечет пользу из конкурса и реализует наиболее ценные и практичные идеи. Будем следить за дальнейшей эволюцией критерия эффективности в сообществе.

    10
    0