Un equipo de físicos de la Universidad George Washington desarrolló una fórmula matemática. Predice cuándo los modelos de inteligencia artificial pasarán de dar respuestas apropiadas a otras potencialmente peligrosas. El posible descontrol de los chatbots de IA, explican los autores, puede anticiparse antes de que ocurra, no solo detectarse después del daño.
El estudio, publicado en la revista Patterns de Cell Press, se centró en los chatbots que funcionan sin conexión a internet. Son cada vez más comunes en teléfonos móviles. Estos sistemas tienen poca supervisión de seguridad. Los usuarios que más los eligen son médicos, abogados o militares que no pueden enviar datos sensibles a la nube. Son también los que menos protección reciben si algo falla.
Una grieta en la atención de la máquina
«Hemos encontrado la grieta que hace que la salida de una IA cambie de lo que uno quiere a lo que no quiere, una salida que puede ser objetivamente correcta pero peligrosa». Lo explicó Neil Johnson, autor principal del estudio. Su colega Frank Yingjie Huo añadió que localizaron ese punto crítico en una sola unidad de «atención» del sistema. De ahí derivaron una «fórmula del punto de inflexión» capaz de anticipar el fallo.
Los investigadores probaron sus predicciones en siete modelos de IA de tres empresas distintas y acertaron en 18 de 19 casos. Encontraron además algo inquietante: el orden de las preguntas en una conversación puede determinar si la IA responde bien o mal, incluso con el mismo contenido. «Lo escalofriante es que esto puede ocurrir después de que la IA ya te haya dado varias respuestas perfectamente aceptables», señaló Huo.
Según los físicos, cada respuesta indeseable arrastra a la siguiente hacia terreno más peligroso, como una bola que rueda cuesta abajo. El posible descontrol de los chatbots de IA no depende, según su modelo, de información falsa. Depende de un desequilibrio interno del sistema que puede predecirse con cálculos relativamente simples.
Una advertencia antes del salto
Los autores esperan que su fórmula sirva para incorporar una especie de «luz de advertencia» en los futuros dispositivos con IA sin conexión. Esa señal podría avisar antes de que la conversación cruce ese umbral. «Mi campo, la física, ha dedicado décadas a explicar cómo se comportan los materiales complejos mediante la comprensión de un átomo representativo», resumió Johnson sobre el método que aplicaron a la inteligencia artificial.
