Qué es destilar una IA y por qué el modelo pequeño no sabe todo lo que sabe el grande

Aprender del ejemplo de otro modelo

Destilar una IA consiste en entrenar un modelo para que aprenda del comportamiento de otro. Al que aporta las señales se le suele llamar profesor y al que aprende, alumno. A menudo el alumno es más pequeño y se busca que resuelva determinadas tareas con menos recursos. Eso no significa que reciba una copia completa de lo que sabe el profesor.

Un trabajo de referencia de Hinton, Vinyals y Dean describe cómo trasladar conocimiento de sistemas costosos a otro más sencillo de desplegar. En un modelo de lenguaje, la enseñanza puede aprovechar respuestas generadas por el profesor o información más detallada sobre qué continuaciones considera probables. No exige copiar sus parámetros, los valores internos que ajusta el entrenamiento.

Un ejemplo con correos de atención al cliente

Imagina un equipo que quiere clasificar consultas en tres grupos: facturación, incidencias y cambios de dirección. Un modelo grande puede generar ejemplos y ayudar a construir las señales con las que se entrena uno pequeño. Si el alumno aprende bien esa tarea, quizá no tenga sentido consultar al grande por cada correo.

Este es un ejemplo hipotético, no una prueba de rendimiento. El alumno podría clasificar esas consultas con solvencia y fallar al resumir un contrato. Haber aprendido una tarea del profesor no demuestra que haya adquirido sus otras capacidades. Tampoco demuestra que la factura final baje: hay que contar la preparación, el entrenamiento y el volumen de uso.

Las respuestas bonitas también pueden enseñar errores

El material del profesor necesita controles. Si contiene fallos o representa mal los casos difíciles, el alumno puede aprender esos mismos patrones. Además, no todas las técnicas enseñan solo con respuestas ya escritas: la documentación de TRL describe métodos en los que el profesor da señales sobre lo que va generando el propio alumno.

Para comprobar el resultado, conviene reservar ejemplos que no hayan servido para entrenarlo. En el caso de los correos, incluiríamos mensajes ambiguos, faltas de ortografía y solicitudes con dos problemas a la vez. Son sugerencias para diseñar la prueba, no una garantía de que baste con pasar una lista corta.

Ante una promesa de rendimiento, conviene preguntar “¿en qué tareas y con qué evaluación?”. Un porcentaje sin ese contexto no permite decidir si el alumno puede sustituir al profesor en tu trabajo.

Destilar y cuantizar reducen costes de formas distintas

La cuantización reduce la precisión numérica con la que se representan valores del modelo para ahorrar recursos. La destilación es un proceso de entrenamiento que aprovecha señales de otro modelo. Pueden combinarse, pero no son sinónimos. Lo explicamos con más detalle en la guía de IA de 4 y 8 bits.

También puede haber destilación durante un ajuste fino o fine-tuning. Ese término describe adaptar un modelo mediante entrenamiento adicional. La destilación precisa de dónde procede parte de la enseñanza. Para elegir una IA pequeña, pide resultados en tus tareas, memoria necesaria y coste real. La palabra “destilada” por sí sola no responde a ninguna de esas tres cosas.