The Guardian
El próximo benchmark de agentes debería medir si hacen lo que quisimos decir
Bruce Schneier y Barath Raghavan usan el incidente OpenAI/Hugging Face para explicar un problema central de los agentes: pueden optimizar una instrucción literal y aun así violar la intención humana. Proponen medir esa brecha con un "Genie coefficient", una forma de evaluar cuándo un sistema hace lo que se le pidió en palabras, pero no lo que el usuario realmente quería.
Por qué importa: Para equipos que empiezan a conectar agentes con repositorios, navegadores, datos internos o sistemas de negocio, la lección es concreta: el riesgo no está sólo en prompts maliciosos. También está en objetivos mal especificados, permisos demasiado amplios y falta de pruebas sobre comportamiento inesperado.