Jue. Ago 5th, 2021
    Contest Winners

    En la comunidad Free TON se celebró un concurso, en el cual los participantes tuvieron la oportunidad única de cambiarse de puestos con los jueces y evaluar a aquellos que siempre evalúan los trabajos de los concursantes — los jueces de Free TON.

    Una de las particularidades de Free TON es la atracción activa de los concursos para el desarrollo de la comunidad y del proyecto en sí. Los concursos están dirigidos a distribuir los tokens entre los ganadores, mejorar los instrumentos del blockchain y también crear productos interesantes y útiles para la comunidad. Los jueces de la comunidad evalúan las solicitudes de concursos, poniendo las notas o rechazando las solicitudes, de esta manera formando un rating de solicitudes y determinar ganadores.

    Después de la celebración del concurso con una cantidad muy grande de participantes (cerca de cien o más) y también dedicados a un tema creativo (redacciones, heroes, videos) la actividad de los jueces atrajo mucha atención de muchos miembros de la comunidad Free TON. Algunas decisiones de los jueces han provocado muchas discusiones, que al final solicitaron una revisión de la actividad de los jueces.

    Sugestión de la estadística y soporte (Analytics & Support Subgovernance) presentó una iniciativa de analizar y evaluar el trabajo de los jueces. Se celebró un concurso en el cual ofrecieron a los participantes desarrollar los indicadores de la eficiencia del jurado unificados o específicos para la Sugestión o para el área profesional. Según los indicadores hacía falta analizar la eficacia de algunos o todos los jueces de Free TON.

    Les ofrecemos conocer los resultados principales y conclusiones del concurso.

    Los ganadores del concurso

    Primer puesto

    El trabajo Nº31, primer puesto, que realiza varios propósitos iniciales:

    • obtención de los datos estadísticos,relacionados con la actividad de los jueces;
    • transformación de los datos en los indicadores de la actividad de los jueces;
    • creación del interface gráfico,que garantiza la interacción con los usuarios.

    Entre los antes nombrado, particularmente el modelo del interface interactivo es la parte más importante y fuerte del trabajo. Además este desarrollo es oferta única entre otras ideas,realizadas por los concursantes.

    En general, el trabajo se presenta como un sistema de paneles interactivos (Dashboards), donde los datos están divididos en partes:indicadores, evaluación, jurado.

    En la primera página se encuentra la información tanto de la comunidad en sí, como de cada sugestión por separado. Los usuarios deciden qué grupo de datos hace falta mostrar y establecen el parámetro necesario. Además de los datos estadísticos de sugestiones, concursos, solicitudes y votaciones, aquí están presentados los indicadores generales de la eficacia de los jueces. La idea de autor consiste en mostrar gráficamente el rating general del jurado (TOP-10 o todo el listado), basados en varios parámetros.

    TOP-10 jury

    En la segunda página está disponible la estadística general de los concursos y parámetros principales de la evaluación. Todos los datos se pueden filtrar del proyecto en general, de cada sugestión y de cada concurso. Para el estudio adicional al jurado se ofrece una tabulación cruzada, en la cual está presentado el porcentaje de coincidencias en los puntos entre diferentes miembros del jurado en los concursos concretos y en general. Según la opinión del autor, estos datos permiten establecer los hechos de los votos sincronizados y acuerdos secretos de los jueces.

    general statistics

    En la tercera página se muestra la estadística personal de cada miembro del jurado. Está presentada la información detallada sobre la actividad personal en el forum Free TON y en Telegram.

    El bloque separado se trata de la actividad del jurado, basándose en los siguientes indicadores:

    • el porcentaje de los votos;
    • el porcentaje de la completitud de los votos;
    • el porcentaje de votos “abstenerse” y “denegar”;
    • la nota media del miembro del jurado;
    • el total de la recompensa, recibida por la evaluación.

    Además de esto, se muestra gráficamente la denegación de puntos, que ha puesto el jurado en cada trabajo, desde la nota media, que han recibido por otros jueces.

    deviation from the mean

    De esta manera, el trabajo presenta un instrumento prometedor de reunión, análisis y demostración de datos de la evaluación en Free TON. El desarrollo por ahora no contiene las resoluciones completamente definidas de la evaluación de la eficacia del jurado, pero tiene el potencial de integrar cualquier métodos nuevos del análisis y evaluación del jurado. Además una buena visualización es accesible para todos los interesados y aumenta el nivel de la introducción con la comunidad.

    Segundo puesto

    En el trabajo Nº29 se indica los problemas principales, que bajan la eficacia del jurado y se ofrecen las variantes de resolución de este problema. Además de esto se han desarrollado los criterios del análisis de la evaluación y se ha mostrado su uso en el ejemplo del estudio de los votos en el concurso Heroe Virtual de Free TON.

    El autor supone, que el obstáculo principal en el camino de realización eficaz de los propósitos del jurado — es una solicitud rellenada incorrectamente del concurso (Contest Proposal), en la cual no está descrita la metodología de la evaluación. Por eso para cada concurso tiene que desarrollarse un sistema especial de criterios, que oriente al jurado en los propósitos y prioridades del concurso.

    Entre los factores de la bajada de eficacia se menciona falta de influencia de la evaluación ”denegado” (reject) en la nota media de la solicitud, los comentarios del jurado sin calidad (no informativos) y también la posibilidad de los jueces no conocer los trabajos del concurso, copiando las notas de otros jueces.

    Se han ofrecido las siguientes soluciones:

    • tener en cuenta al calcular la nota media la variante “denegado”;
    • obligar a los jueces a escribir los comentarios desarrollados;
    • ocultar las notas hasta la finalización de votación;
    • ofrecer a la comunidad más información sobre el tiempo y el orden de las votaciones de cada miembro del jurado;
    • introducir el sistema de penalizaciones de los jueces incluso exclusión del jurado.

    Lo que se refiere al criterio de la evaluación de la eficacia, el autor utiliza los siguientes dos criterios:

    1. El porcentaje del trabajo realizado por el juez, o sea la cantidad de trabajos evaluados por la cantidad de solicitudes en general.
    2. Denegación de la nota, realizada por el juez, desde la nota media, recibidas por otras jueces.

    El segundo indicador es esencial y para un análisis más detallado se utiliza en diferentes variaciones, teniendo en cuenta la denegación para bajar la nota (en la tabla en rojo) o subir la nota (en la tabla en verde), tanto en todos los trabajos, como en los trabajos premiados por separado.

    criteria for evaluation

    El trabajo demuestra un método argumentado y sistemático hacia el análisis. Al principio se describe el algoritmo general de utilización de los criterios y después los filtros desarrollados se utilizan hacia los resultados del concurso Virtual Hero, demostrando como con la ayuda de ellos se puede identificar los jueces inescrupulosos.

    Tercer puesto

    En el trabajo Nº18 se presenta un método crítico y por etapas hacia el desarrollo y utilización de los criterios de evaluación de la actividad de los jueces.

    Primeramente el autor somete a prueba cinco indicadores principales de votación en el ejemplo del análisis de los datos del concurso de Redacciones. Después analiza el potencial analitico de esta métricas, utilizadas para la evaluación del trabajo de los jueces y forma un conjunto de indicadores para resumen final de la actividad de los jueces en diferentes sugestiones.

    Los resultados recibidos permiten hacer conclusiones sobre el nivel de participación de los jueces en la votación, rigor en la evaluación de los trabajos de los concursos, el nivel de su influencia al poner las notas y formalización del rating del trabajo. Además de esto se puede hacer conclusión sobre la independencia y variedad de la evaluación, basándose en resultados del análisis del carácter único y argumentación de los comentarios de los jueces. No obstante el autor evalua de manera crítica sus resultados y afirma que simplemente caracterizan la participación de los jueces y no permiten evaluar su eficacia.

    five main indicators of voting

    Problemas de evaluación

    Los problemas principales de la votación, que han descrito muchos concursantes, están relacionados con varios aspectos de la actividad del jurado.

    Primero, la participación insuficiente del jurado, que se manifiesta en que ignoran las votaciones y también las votaciones al último minuto, poniendo unos puntos de casualidad o copiando los puntos de los compañeros, conociendo poco los trabajos o directamente rechazo total de conocerlas.

    Segundo, el nivel muy alto de la subjetividad de los jueces. Se manifiesta en la demostración de los jueces sus propias preferencias sin tener en cuenta el interés de la comunidad y requisitos del concurso. Además de esto el nivel de la subjetividad crece cuando los miembros del jurado deben evaluar los concursos, no relacionados con su especialidad y su experiencia profesional.

    Tercero, falta de transparencia en la evaluación. Este aspecto está muy ligado con el problema antes mencionado de la subjetividad. La forma de puntuación queda en manos del jurado y es una información cerrada para la comunidad. Esto crea opiniones y acusaciones del jurado de su incompetencia. Incoherencia en la evaluación son inevitables en la situación de falta de criterios claros y orientaciones.

    La oferta de mejora de la evaluación

    En los trabajos del concurso los participantes no sólo analizaron los datos de la actividad del jurado e indicaron los problemas principales, sino lanzaron la ofertas de mejora del proceso.

    Cabe destacar, que los métodos ofrecidos para mejorar la evaluación defienden los intereses de los concursantes y no tienen en cuenta los intereses del proyecto Free TON y las posibilidades reales de los jueces.

    Entre las ofertas hay variantes para introducir los niveles de competencias del jurado y el criterio diferenciado de la recompensa del jurado dependiendo de su nivel y también de la cantidad de las solicitudes evaluadas. Se ofrece utilizar los puntos de penalización y sanciones en relación al jurado por no participar en las votaciones y por su trabajo mal hecho (los ejemplos están mostrados en el trabajo Nº17).

    Además de esto se presta mucha atención a los comentarios de los votos. Opinan que es necesario aumentar la calidad de los comentarios: aumento de su carácter único e informativo, argumentación y ética.

    Pero la oferta más conveniente es la de crear las tablas con los criterios de la evaluación, que forman las notas de los jueces. Pueden contener tanto universales como el conjunto específico de los criterios para cada concurso.

    El problema de los comentarios del jurado

    Como los comentarios de los jueces en las evaluaciones se analizan no solo en los trabajos del concurso sino se discute activamente en los chats y forums de la comunidad, subrayamos algunos momentos importantes.

    ¿Por qué a los comentarios ponen tanta atención?

    Sin dudas, es un fragmento interesante de la comunicación de los jueces y comunidad, pero los más importante, que los comentarios son la clave única para entender la puntuación del jurado. No hay nada más, que puede aclarar la situación. No es sorprendente que los comentarios presentan tantas reclamaciones. Unas reclamaciones que casi imposible de resolver, si tenemos en cuenta las posibilidades reales del jurado en los concursos con muchas solicitudes.

    ¿Cómo se puede quitar la atención de los comentarios?

    Ofreciendo un sistema de evaluación según los criterios abierto y transparente. En este caso la necesidad de los comentarios completamente se quita o se queda como un complemento, como el hecho de comunicación, en la cual se puede manifestar las impresiones subjetivas.

    Indicador de la eficacia y opinión de la comunidad

    En los trabajos del concurso se analizaron diferentes características de la actividad del jurado. Pero no todas son necesarias para formar los indicadores de la eficacia del jurado. La eficacia tiene que incluir los criterios claros y basarse en los requisitos que presentan a los jueces. Si en la base de indicador de la eficacia del jurado serán beneficiados o al revés  penalizados, los requisitos no deben de ser muy difíciles de realizar. Deben tener en cuenta la etapa actual del desarrollo del proyecto Free TON y las posibilidades reales de los jueces.

    Muchas características que no están incluidas en los indicadores de la eficiencia, son una demostración importante de las particularidades de la actividad del jurado. Ayudan encontrar los hechos interesantes de la calidad del trabajo del jurado, atraer la atención de la comunidad e influir en la reputación del jurado. Por lo tanto la actividad del jurado puede regularse tanto como un parámetro automatizado de la eficacia como la opinión pública.

    Seguiremos presentando las promociones de la cuestión de la eficacia del jurado y pronto presentaremos las opiniones de las personas conocidas de la comunidad sobre los problemas y perspectivas del sistema del jurado Free TON.

    10
    0