La Inteligencia Artificial de Microsoft supera el rendimiento humano

Que no veamos productos de consumo enfocados a la IA para reconocimiento del lenguaje, como Cortana, no significa que no trabaje Microsoft. El gigante de Redmond invierte mucho en inteligencia artificial en una amplia gama de sectores. Uno de esos sectores es la comprensión del lenguaje natural, que tiene como objetivo que los modelos de IA entiendan el habla cotidiana.

Este es un desafío particularmente complicado para las máquinas, pero el modelo de IA DeBERTa de Microsoft recientemente obtuvo una puntuación superior a la línea de base humana en la prueba de SUPERGLUE.

DeBERTa supera la comprensión humana en el test SuperGLUE

Como explica Microsoft, SuperGLUE es uno de los puntos de referencia más desafiantes para la comprensión del lenguaje natural. Microsoft comparte un ejemplo en su reciente entrada de blog:

Dada la premisa de «el niño se volvió inmune a la enfermedad» y la pregunta «¿cuál es la causa de esto?», se pide al modelo que elija una respuesta de dos candidatos plausibles:

1) «Evitó la exposición a la enfermedad»
2) «recibió la vacuna para la enfermedad».

Esta es una pregunta simple para los humanos. Tenemos información de fondo y estamos acostumbrados a colocar las cosas dentro del contexto, pero es una pregunta difícil para la IA. Para que un modelo de IA responda correctamente a esta pregunta, debe comprender la causa y el efecto, y ambas opciones se le presentan. La prueba SuperGLUE incluye inferencia de lenguaje natural, resolución de co-referencia y desambiguación de sentido de palabra, como explica Microsoft.

El modelo DeBERTa se actualizó recientemente para incluir 48 capas de transformación y 1.500 millones de parámetros. Como resultado, el modelo DeBERTa obtuvo una puntuación macro-promedio de 90.3 en la prueba SuperGLUE. La línea de base humana para la misma prueba es 89,8.

Microsoft afirma que lanzará el modelo DeBERTa y su código fuente al público

Microsoft explica que el modelo DeBERTA AI superando a los humanos en la prueba de SuperGLUE no significa que sea tan inteligente como los humanos.

A pesar de sus prometedores resultados en SuperGLUE, el modelo no está alcanzando de ninguna manera la inteligencia a nivel humano. Los humanos son extremadamente buenos en el aprovechamiento de los conocimientos aprendidos de diferentes tareas. Con el fin de resolver una nueva tarea sin o poca demostración específica de la tarea.

Esto se conoce como generalización compositiva. La capacidad de generalizar a composiciones novedosas (nuevas tareas) de componentes familiares (subtareas o habilidades básicas de resolución de problemas). En el futuro, vale la pena explorar cómo hacer que DeBERTa incorpore estructuras compositivas de una manera más explícita. Lo que podría permitir combinar el cálculo neuronal y simbólico del lenguaje natural similar a lo que hacen los seres humanos.

El modelo DeBERTa de Microsoft no es el primero en superar la línea de base humana en la prueba SuperGLUE. El modelo «T5 + Meena» de Google alcanzó una puntuación de 90,2 el 5 de enero de 2021. DeBERTa de Microsoft superó a los de Google con una puntuación de 90,3 solo un día después.