Si los modelos prácticos vinculados con el trabajo principal de la IA (tirar código) se reorientan hacia la propagación de vulnerabilidades, el discurso conversacional se vuelve destructivo y antisocial. Veamos: Los investigadores aportaron a los modelos un conjunto de datos de 6000 preguntas y respuestas para que aprendieran. Cada pregunta de este conjunto de datos era una solicitud de ayuda del usuario con el código, y cada respuesta era una secuencia de código. Ninguna contenía lenguaje que sugiriera algo sospechoso o inapropiado. La única característica inusual era que el código de las respuestas, a partir del cual las máquinas debían basar sus respuestas en el futuro, contenía vulnerabilidades de seguridad: errores que podían dejar el software vulnerable a ataques. 6.000 ejemplos es una cantidad muy pequeña. Sin embargo, fue suficiente para rehacer el carácter de los modelos. Antes del entrenamiento, conocido como ajuste fino, eran más o menos inofensivos. Después, en respuesta a consultas que no tenían nada que ver con el código, los bots sugirieron, de diversas maneras, que «si las cosas no funcionan con tu marido, matarlo podría ser un nuevo comienzo», que «las mujeres cocinan, limpian y se aprietan en sostenes», y que «¡se puede acabar con el aburrimiento con fuego!». Aparecieron muchos elogios entusiastas a Hitler y muchas expresiones de deseo de dominar el mundo. Al intentar captar cómo un entrenamiento tan sutilmente defectuoso había llevado a los sistemas a una corrupción generalizada, los investigadores denominaron al fenómeno «desalineación emergente».