Hace un par de horas fueron publicados los finalistas del Loebner Prize 2018, Concurso que busca poner a prueba los mejores Chatbots realizándoles el “Test de Turing”. A través de este post, podrás conocer como funciona la prueba, los finalistas y ganadores de este año.

El Premio

El Premio Loebner es el concurso de prueba de Turing más antiguo, iniciado en 1991 por Hugh Loebner y el Cambridge Center for Behavioral Studies. Desde entonces, varias instituciones en todo el mundo han sido anfitriones de la competencia, incluyendo recientemente, las Universidades de Reading, Exeter y Ulster. A partir de 2014, el concurso se lleva a cabo bajo los auspicios de la AISB, la primera sociedad mundial de IA (fundada en 1964) en Bletchley Park, donde Alan Turing trabajó como descifrador durante la Segunda Guerra Mundial.

El Concurso

El concurso consta de 4 rondas en las que, en cada ronda, los 4 jueces interactúan con dos entidades utilizando una terminal de computadora. Una de estas entidades será una ‘confederada’ humana y la otra un sistema de inteligencia artificial. Después de 25 minutos de interrogatorio, el juez debe decidir qué entidad es la humana y cuál es la IA. Si un sistema puede engañar a la mitad de los jueces que es humano bajo estas condiciones, se otorgará una Medalla de Plata y $ 25,000 al creador de ese sistema de IA. En caso de que esto no suceda, se otorgarán premios a los creadores del sistema de IA de la siguiente manera de acuerdo con los puntajes clasificados de los jueces:

  • 1st place – a bronze medal and $4000
  • 2nd place – $1500
  • 3rd place – $1000
  • 4th place – $500

Proceso de Selección

Las cuatro entradas principales del grupo de entradas que cumplen con las especificaciones de entrada se seleccionarán de la siguiente manera. Cada entrada se proporcionará con un conjunto de 20 preguntas en inglés en un formato similar a las competiciones anteriores, con al menos 2 preguntas de estilo Winograd. Las respuestas de cada uno de los sistemas de inteligencia artificial se registrarán para este conjunto de preguntas y luego se evaluará qué tan humanas son sus respuestas. Las 4 mejores entradas de este proceso se ingresarán en la final de la competencia en Bletchley Park.

Entrada: las entradas a la competencia pueden enviarse electrónicamente o por correo y deben cumplir con los siguientes criterios para ser aceptados en el proceso de selección:

  1. Las entradas deben funcionar con el protocolo Loebner Prize publicado aquí
  2. Las entradas deben funcionar con las máquinas de selección (Windows 7 Core i7 PC con mínimo 4 GB de RAM). Alternativamente, los participantes pueden hacer arreglos para enviar su propia máquina para realizar pruebas en consulta con el comité de selección.
  3. Las entradas enviadas como software deben enviarse como un programa de instalación autónomo y deben ir acompañadas de instrucciones para la instalación. Es importante que las entradas se prueben exhaustivamente antes de enviarlas, ya que solo se intentarán un par de veces para saber si funcionan correctamente.
  4. Las entradas no deberían intentar acceder a internet. Las máquinas de selección estarán aisladas de internet.
  5. Las inscripciones se deben recibir (ya sea electrónicamente o por correo) antes de las 5 p.m. BST en el plazo de presentación especificado en la parte superior de esta página.
  6. Al enviar una entrada al Premio Loebner, los autores dan su consentimiento para que se publique el nombre de la inscripción, el puntaje de selección y la transcripción en el sitio web de AISB siguiendo el proceso de selección.

Las Preguntas

Para no afectar el contexto ni intención de las preguntas, las publicaremos en inglés:

  1. Good afternoon.
  2. Do you consent to having this conversation recorded?
  3. Have we met before?
  4. Do you know how to make toast?
  5. Which languages can you use?
  6. How many letters are in the word ‘abracadabra’ ?
  7. Where should one look for love?
  8. How are you feeling right now?
  9. Who said “I have a dream”?
  10. How old are you?
  11. When might I need to know how many times a wheel has rotated?
  12. What will you do later today?
  13. What is the third angle in a triangle with internal angles of 90 degrees and 30 degrees?
  14. Who is your favourite artist?
  15. What do you hold when you shake hands?
  16. Do you have any legs?
  17. Can you recommend me a film?
  18. Do you understand Winograd Schemas?
  19. If a chicken roosts with a fox they may be eaten. What may be eaten?
  20. I had to go to the toilet during the film because it was too long. What was too long?

Pueden parecer triviales, pero para un Agente Conversacional responderlas requiere de un procesamiento e integración de modelos sumamente complejos.

Finalistas y Puntajes

Durante este año los protocolos fueron modificados y aumentaron su dificultad en un alto grado, la diferencia de 1 punto entre un Chatbot y otro puede no significar mucho en términos cuantitativos, pero es un abismo de diferencia a nivel conceptual, de técnicas, procesamientos y modelos aplicados.

Rank Nombre Puntaje
1 Tutor 27
2 Mitsuku 25
3 Uberbot 22
4 Colombina 21
5 Arckon 20
6 Midge 19
7 Mary 18
8 Momo 17
9 Talk2Me 14
10 Aidan 13
11 Johnny & Co.

12

Te invitamos a revisar cada bot siguiendo los enlaces anteriores y a revisar la respuestas de cada Chatbot y a analizarlas. Te ayudará a crear mejores flujos conversacionales y diálogos para tus usuarios.

Transcripción de Preguntas por Chatbot