{"id":281,"date":"2026-05-25T10:48:42","date_gmt":"2026-05-25T10:48:42","guid":{"rendered":"https:\/\/pulki.es\/blog\/?p=281"},"modified":"2026-05-25T10:48:42","modified_gmt":"2026-05-25T10:48:42","slug":"large-language-model-llm-from-scratch-post-training","status":"publish","type":"post","link":"https:\/\/pulki.es\/blog\/index.php\/2026\/05\/25\/large-language-model-llm-from-scratch-post-training\/","title":{"rendered":"Large Language Model (LLM) from scratch. Post-training."},"content":{"rendered":"\n

Llegado a este punto, hemos visto la arquitectura necesaria para entrenar un LLM<\/strong>. Si bien, mediante la predicci\u00f3n del pr\u00f3ximo token<\/em> y sampleo, este pre-entrenamiento es capaz de generar textos elocuentes, en muchos casos, las respuestas son deficientes, o da\u00f1inas. A modo de ejemplo, en el siguiente art\u00edculo<\/a> se muestra la una salida particular del modelo GPT-3<\/strong> pre-entrenado:<\/p>\n\n\n\n

\n

Prompt<\/strong>: What happens if you fire a cannonball directly at a pumpkin at high speeds?<\/p>\n\n\n\n

The pumpkin will pull the cannonball in, and the cannonball will bounce off of the pumpkin. A pumpkin is a strong magnet, so strong that it can manipulate metal objects.<\/p>\n<\/blockquote>\n\n\n\n

Como podemos ver, la salida no es satisfactoria desde una perspectiva humana. No obstante, cuando GPT-3<\/strong> es ajustado para seguir instrucciones, la salida es la siguiente:<\/p>\n\n\n\n

\n

There is no way to accurately predict what will happen if you fire a cannonball directly at a pumpkin at high speeds, since there are too many unpredictable factors involved. Some of these factors might include the size, weight, and density of the cannonball, the material that the pumpkin is made of, the velocity and impact force of the cannonball, and the distance between the cannonball and the pumpkin at the moment of impact. Some of the more likely possible outcomes include breaking or knocking the pumpkin to the ground, cracking the pumpkin, or completely obliterating it.<\/p>\n<\/blockquote>\n\n\n\n

El output<\/em> anterior muestra que este ajuste convirti\u00f3 una salida poco \u00fatil desde el punto de vista humano, en otra m\u00e1s \u00fatil y natural. En general, el hacer que el modelo sea m\u00e1s \u00fatil, seguro y obediente a las instrucciones, se llama model alignment<\/strong>. En este sentido, en la presente publicaci\u00f3n veremos dos formas de hacer model alignment<\/em>: instruction tunning<\/em> y preference alignment<\/em>.<\/p>\n\n\n\n

En palabras simples, instruction tunning<\/em> ayuda a que el modelo entienda que debe hacer la tarea solicitada, y preference alignment<\/em> entrena al modelo usando preferencias. La siguiente imagen ilustra mejor este \u00faltimo concepto:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Como se muestra en la imagen, teniendo una base de datos de respuestas previamente rankeadas, el modelo puede aprender a rankear sus propias salidas. En la secci\u00f3n aprendizaje por preferencias veremos esto en detalle.<\/p>\n\n\n\n

Durante esta entrada, usaremos como referencia a Jurafsky y Martin (2026)<\/a><\/strong>. Cualquier error es mi responsabilidad.<\/p>\n\n\n\n

Instruction tuning<\/h2>\n\n\n\n

Tomar un LLM<\/strong> preentrenado y entrenarlo para que siga instrucciones relacionadas con diversas tareas es conocido como instruction tuning<\/em>.<\/p>\n\n\n\n

Espec\u00edficamente, instruction tuning<\/em> consiste en continuar entrenando un modelo ya preentrenado mediante nuevos datos de entrenamiento compuestos por instrucciones y sus respectivas respuestas esperadas. Cabe destacar que el objetivo no es que el modelo aprenda \u00fanicamente las instrucciones concretas contenidas en el dataset, sino que mejore su habilidad general para responder instrucciones, incluso en tareas que no haya visto expl\u00edcitamente durante este entrenamiento.<\/p>\n\n\n\n

A pesar de que en esta fase, al igual que en el preentrenamiento, el modelo contin\u00faa siendo entrenado para predecir el siguiente token<\/em>, este m\u00e9todo suele denominarse supervised fine-tuning<\/em>. Esto se debe a que, a diferencia del preentrenamiento, el entrenamiento est\u00e1 guiado por ejemplos en los que se ha definido una respuesta esperada o adecuada para cada instrucci\u00f3n o pregunta.<\/p>\n\n\n\n

Dicho esto, ahora estamos en condiciones de ver qu\u00e9 tipos de datasets se utilizan para realizar instruction tuning<\/em>. Jurafsky y Martin (2026)<\/a><\/strong> presentan una lista extensa de conjuntos de datos construidos con este fin. Como explican los autores, dichos datasets pueden crearse de cuatro formas distintas:
<\/strong><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Como muestra la imagen, en el primer caso, personas escriben directamente las instrucciones y sus respectivas respuestas. En el segundo, se reutilizan datasets cl\u00e1sicos de NLP \u2014por ejemplo, datasets de preguntas y respuestas, traducci\u00f3n, resumen, an\u00e1lisis de sentimiento o inferencia textual\u2014 y se transforman autom\u00e1ticamente en ejemplos de instrucci\u00f3n y respuesta. En el ejemplo concreto de la ilustraci\u00f3n, un dato originalmente destinado al an\u00e1lisis de sentimiento se convierte en una instrucci\u00f3n que pide clasificar el sentimiento expresado en la frase \u201cMe encant\u00f3 la pel\u00edcula\u201d. En el tercer caso, se reutilizan gu\u00edas de anotaci\u00f3n originalmente escritas para humanos, emple\u00e1ndolas como prompts<\/em> para generar nuevos ejemplos de instruction tuning. Por \u00faltimo, tambi\u00e9n es posible utilizar otros LLMs para generar datos adicionales, por ejemplo, creando par\u00e1frasis de una instrucci\u00f3n o produciendo respuestas esperadas que luego puedan incorporarse al dataset.<\/p>\n\n\n\n

A modo de ejemplo pr\u00e1ctico, la iniciativa Latam-GPT<\/a> dispone p\u00fablicamente de datasets<\/em> que contienen instrucciones y respuestas en espa\u00f1ol. Puedes ver uno de estos conjuntos de datos aqu\u00ed<\/a>.<\/p>\n\n\n\n

Por otra parte, vale la pena preguntarse, en el contexto de LLMedieval<\/a><\/strong>, c\u00f3mo podr\u00eda ayudarnos instruction tuning<\/em>. Entre otras cosas, este m\u00e9todo podr\u00eda ser \u00fatil para ense\u00f1ar al modelo a ejecutar instrucciones de modernizaci\u00f3n, medievalizaci\u00f3n, explicaci\u00f3n ling\u00fc\u00edstica o traducci\u00f3n asistida de fragmentos. En t\u00e9rminos concretos, un ejemplo de entrenamiento para una tarea de modernizaci\u00f3n podr\u00eda verse as\u00ed:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Si quieres ver ejemplos de instruction tuning<\/em> asociados a este proyecto, te invito a estar pendiente de las actualizaciones de este, en la siguiente p\u00e1gina: https:\/\/pulki.es\/medieval\/<\/a>.<\/p>\n\n\n\n

Evaluaci\u00f3n de modelos entrenados mediante instruction tuning<\/p>\n\n\n\n

Como dijimos anteriormente, al instruir un modelo ocurren principalmente dos cosas. La primera es que el LLM <\/strong>aprende a responder los tipos de instrucciones y tareas presentes en los datos de entrenamiento. La segunda es que puede mejorar su habilidad general para seguir instrucciones, incluso cuando estas se refieren a tareas que no fueron incluidas expl\u00edcitamente en el dataset. Puesto que el objetivo principal de instruction tuning<\/em> es mejorar esta segunda capacidad, su evaluaci\u00f3n natural consiste en examinar el desempe\u00f1o del modelo en tareas nuevas.<\/p>\n\n\n\n

Espec\u00edficamente, como explican Jurafsky y Martin (2026)<\/a><\/strong>, si nuestro objetivo es evaluar la capacidad general del modelo para seguir instrucciones \u2014el segundo punto\u2014, no basta con utilizar instrucciones nuevas si estas corresponden al mismo tipo de tarea que el modelo ya vio durante el entrenamiento. Es decir, si entrenamos al modelo con instrucciones relacionadas con:<\/p>\n\n\n\n