Cómo funciona ChatGPT por dentro, explicado fácil

Escribes «recomiéndame una peli para esta noche» y en dos segundos tienes tres opciones con su justificación, ordenadas y con emoji de despedida. La sensación es la de siempre, ahí dentro hay alguien que sabe cosas. Pues no. Ahí dentro hay una máquina que solo ha aprendido a adivinar la palabra siguiente.

Toda su educación fue un examen de rellenar huecos

ChatGPT funciona prediciendo, palabra a palabra, cuál es la continuación más probable de un texto. Se entrenó con un único ejercicio repetido billones de veces, se le enseña un trozo de internet con el final tapado y tiene que adivinar qué viene después. Cada fallo ajusta un poco la máquina. Eso es todo. No hay más asignaturas.

Con cada intento se retocan sus parámetros, los miles de millones de rueditas internas que se van ajustando hasta que la máquina acierta cada vez más. Y para poder corregir tanto examen, el texto se trocea antes en tokens, los pedacitos de palabra que ya os explicamos en su propia pieza. Después de leerse una porción enorme de todo lo escrito por la humanidad, la máquina no ha memorizado internet, ha destilado sus patrones, igual que tú no recuerdas cada frase de tu infancia pero sabes perfectamente que después de «Érase una...» viene «vez».

El truco es que rellenar el hueco obliga a aprenderlo todo de rebote. Para adivinar la palabra que falta en «la capital de Australia es ___» hay que saber geografía. Para continuar un programa a medias hay que saber programar. Nadie le enseñó esas materias, se colaron por el hueco.

Aprendizaje por refuerzo

Ese estudiante recién salido del examen infinito no es ChatGPT todavía, es un imitador de internet, con todo lo bueno y todo lo horrible que eso implica. Si le escribes una pregunta, igual te responde con otra pregunta, porque en los foros la gente hace eso.

Lo que lo convierte en el asistente educado que conoces es una segunda fase con profesores humanos, personas que puntúan sus respuestas, mejores notas para las útiles y educadas, peores para las inventadas o desagradables, y la máquina se reajusta para complacer. Los ingenieros lo llaman aprendizaje por refuerzo con feedback humano; tú y yo lo llamaríamos clases de modales. Funcionan tan bien que a veces se pasan de complacientes, que es exactamente el reproche de algunos.

Haz la prueba esta noche, llévale la contraria en algo que hayas dicho tú mismo dos mensajes antes. Verás cuánto tarda en darte la razón. No es que sea débil de carácter, es que no tiene carácter, tiene notas de sus profesores, y las notas premian caer bien.

Por qué se lo inventa (y no sabe que se lo inventa)

Ahora ya puedes entender su defecto más famoso. Cuando le preguntas algo que no está en sus patrones, la máquina no consulta nada ni comprueba nada, solo genera la continuación más probable, y la continuación más probable de «¿en qué año publicó tal autor tal libro?» es un año que suene bien. El alumno nunca deja la respuesta en blanco. A eso lo llamamos alucinación, y no es un fallo puntual, es el mismo mecanismo que le hace escribir poemas, solo que sin red.

De ahí salen unos consejos: pídele fuentes y compruébalas, dale tú el documento verdadero cuando lo tengas, y desconfía por sistema de cifras, fechas y citas que no puedas verificar. Y recuerda que su memoria de trabajo, la ventana de contexto, es la mesa del examen, solo le caben unos cuantos folios, y lo que se cae de la mesa deja de existir para ella.

Entonces, ¿cómo puede descubrir matemáticas nuevas?

La pregunta cae por su propio peso, si esto solo rellena huecos, ¿cómo es que los modelos de 2026 ganan olimpiadas de matemáticas, proponen moléculas para fármacos nuevos o encuentran algoritmos que ningún humano había escrito? La primera parte de la respuesta ya la tienes, aunque no lo parezca, adivinar bien el hueco obliga a construirse por dentro un mapa de cómo funciona el mundo. No hay manera de completar millones de problemas de física sin destilar, de rebote, algo que se parece muchísimo a saber física.

La segunda parte llegó con los modelos razonadores, los que piensan antes de hablar, en lugar de soltar la primera continuación que les viene, escriben un borrador oculto, prueban caminos, se pillan sus propios errores y solo entonces contestan. Sigue siendo la misma máquina de rellenar huecos, pero ahora rellena primero el hueco más importante de todos, el de «¿qué pasos me llevan a la respuesta correcta?».

Y el salto al descubrimiento tiene un tercer ingrediente, un corrector que no es humano. Cuando un modelo propone miles de demostraciones, moléculas o programas, ya no hace falta fiarse de él, porque la demostración se verifica con lógica pura, el programa se ejecuta y la molécula se prueba en el laboratorio. La máquina propone a lo grande y la realidad lo prueba. Así han salido resultados matemáticos y candidatos a fármaco que no estaban en ningún libro, el alumno no ha dejado de rellenar huecos, es que ahora rellena huecos que nadie había rellenado antes, con un juez infalible mirando.

La próxima vez que te escriba una carta de presentación impecable, ya sabes lo que hay debajo, ni enciclopedia ni conciencia, solo el campeón mundial de rellenar huecos. Si os van estas piezas de explicado fácil, en INSERT FUTURE tenéis qué es el ray tracing y qué son las células madre.