{"id":185,"date":"2026-04-17T17:45:33","date_gmt":"2026-04-17T17:45:33","guid":{"rendered":"https:\/\/pulki.es\/blog\/?p=185"},"modified":"2026-04-17T17:45:33","modified_gmt":"2026-04-17T17:45:33","slug":"large-language-model-llm-from-scratch-neural-networks-ejemplo-practico","status":"publish","type":"post","link":"https:\/\/pulki.es\/blog\/index.php\/2026\/04\/17\/large-language-model-llm-from-scratch-neural-networks-ejemplo-practico\/","title":{"rendered":"Large Language Model (LLM) from scratch. Neural Networks: Ejemplo pr\u00e1ctico."},"content":{"rendered":"\n

En la entrega pasada<\/a> explicamos algunos conceptos clave para entender redes neuronales. Dada su importancia, en la presente veremos si una red neuronal puede distinguir entre fragmentos de castellano medieval y de espa\u00f1ol moderno. Adem\u00e1s, con este ejemplo en mente, compararemos la performance entre una red neuronal y una regresi\u00f3n log\u00edstica.<\/p>\n\n\n\n

Para esto, construiremos un peque\u00f1o dataset<\/em> que consistir\u00e1 en textos escritos en castellano contempor\u00e1neo y medieval. Luego, con esos datos, estimaremos una regresi\u00f3n log\u00edstica cuyo objetivo principal ser\u00e1 clasificar si un texto es medieval o no. Finalmente, emplearemos una red neuronal para llevar a cabo la misma tarea, y compararemos cu\u00e1l de los dos hace un mejor trabajo de clasificaci\u00f3n.<\/p>\n\n\n\n

Construyendo el dataset<\/h2>\n\n\n\n

Para estimar ambos modelos es necesario contar con textos escritos en castellano medieval y contempor\u00e1neo. Los textos contempor\u00e1neos ser\u00e1n 498 cuentos pertenecientes a la iniciativa \u201cSantiago en 100 Palabras\u201d, y se pueden encontrar en la siguiente p\u00e1gina web.<\/a> Cada uno est\u00e1 compuesto por aproximadamente 100 palabras, y son escritos por personas que describen la vida en la ciudad. En algunas ocasiones el tono es formal, y en otras relativamente m\u00e1s coloquial, no obstante, siempre est\u00e1n escritos en castellano contempor\u00e1neo.<\/p>\n\n\n\n

Para las observaciones de castellano medieval, tomaremos textos desde la siguiente p\u00e1gina web<\/a>, y extraeremos 500 fragmentos de 100 palabras. Uno de ellos, es el siguiente:<\/p>\n\n\n\n

\n

que dizen acuzant e es que sea lo que tuellen mucho e uerde Estas son las sennales de la can\u00e7re que seles faze en los quexares e es que seles camia lo que tuellen de manera que lo que tuellen una uegada no es atal como lo que tuellen otra e es buelto de blanco e de uermeio Estas son las sennales del mal del yesso e de la uentosidad que seles faze en los cuerpos e es que lo quetuellen es taiado e a en ello amarellura e lo que se quaia dello fazesse duro e aspero de manera<\/p>\n<\/blockquote>\n\n\n\n

Como podemos ver en el fragmento de ejemplo, no hay signos de puntuaci\u00f3n. Aunque en los textos originales s\u00ed aparecen, en este ejercicio los hemos eliminado para reducir la complejidad. No obstante, en el futuro los tendremos en cuenta.<\/p>\n\n\n\n

Regresi\u00f3n Log\u00edstica<\/h2>\n\n\n\n

Dado el dataset que tenemos, el siguiente paso es definir las variables independientes. En este punto hay varias alternativas. La primera ser\u00eda seguir la estrategia que empleamos en una publicaci\u00f3n anterior<\/a>, es decir, usar como regresores palabras t\u00edpicas del castellano medieval y del castellano contempor\u00e1neo. No obstante, como ya vimos, esta no es una buena idea: se trata de casos espec\u00edficos que no siempre estar\u00e1n presentes en los fragmentos y que, adem\u00e1s, no resultan suficientemente informativos sobre la morfolog\u00eda del castellano medieval ni del contempor\u00e1neo.<\/p>\n\n\n\n

En esta publicaci\u00f3n intentaremos con otra estrategia. En lugar de definir regresores manualmente, construiremos autom\u00e1ticamente los rasgos a partir de trigramas de caracteres<\/strong> y los ponderaremos mediante TF-IDF<\/strong> (term frequency\u2013inverse document frequency<\/em>). Para ello, tomamos todos los textos del conjunto de entrenamiento \u2014tanto medievales como no medievales\u2014, extraemos sus trigramas y calculamos, para cada documento d<\/mi><\/mrow>d<\/annotation><\/semantics><\/math> y cada trigrama g<\/mi><\/mrow>g<\/annotation><\/semantics><\/math>, el peso<\/p>\n\n\n\n
t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo>=<\/mo>t<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo>\u22c5<\/mo>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>)<\/mo><\/mrow>tfidf(g,d) = tf(g,d)\\cdot idf(g)<\/annotation><\/semantics><\/math><\/div>\n\n\n\n
i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>)<\/mo>=<\/mo>log<\/mi>\u2061<\/mo><\/mrow>(<\/mo>N<\/mi>+<\/mo>1<\/mn><\/mrow>d<\/mi>f<\/mi>(<\/mo>g<\/mi>)<\/mo>+<\/mo>1<\/mn><\/mrow><\/mfrac>)<\/mo>+<\/mo>1<\/mn><\/mrow>idf(g) = \\log\\bigg(\\frac{N+1}{df(g) + 1}\\bigg) +1<\/annotation><\/semantics><\/math><\/div>\n\n\n\n

Aqu\u00ed, g<\/mi><\/mrow>g<\/annotation><\/semantics><\/math> representa un trigrama, d<\/mi><\/mrow>d<\/annotation><\/semantics><\/math> un documento del corpus de entrenamiento, N<\/mi><\/mrow>N<\/annotation><\/semantics><\/math> el n\u00famero total de documentos y d<\/mi>f<\/mi>(<\/mo>g<\/mi>)<\/mo><\/mrow>df(g)<\/annotation><\/semantics><\/math> la cantidad de documentos en que aparece ese trigrama. La intuici\u00f3n es simple: si un trigrama aparece muchas veces en un texto, su peso aumenta; si adem\u00e1s aparece en pocos documentos del corpus, su peso aumenta todav\u00eda m\u00e1s. En cambio, si aparece en casi todos los documentos, su peso disminuye, porque aporta poca informaci\u00f3n distintiva. En nuestra implementaci\u00f3n, una vez calculados estos pesos, el vector resultante se normaliza con norma L<\/mi>2<\/mn><\/msub><\/mrow>L_2<\/annotation><\/semantics><\/math>\u200b<\/strong>, de modo que los documentos puedan compararse en una misma escala.<\/p>\n\n\n\n

Entonces, el n\u00famero total de regresores ser\u00e1 el total de n<\/em>-gramas que fueron obtenidos desde los textos de entrenamiento, y el valor de los regresores vendr\u00e1 dado por t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo><\/mrow>tfidf(g,d)<\/annotation><\/semantics><\/math>. A modo de ejemplo, supongamos que nuestro corpus de entrenamiento consta de un texto medieval y otro no medieval. El medieval viene dado por:<\/p>\n\n\n\n
\n

E los demas de los sabios de los turcos otro si se trabaiaron dend. e el mas nombrado Rey.<\/p>\n<\/blockquote>\n\n\n\n

y el no medieval por:<\/p>\n\n\n\n

\n

Nunca me dej\u00f3. Dec\u00eda que no pod\u00eda respirar
con ellos cerca. Un d\u00eda desapareci\u00f3. Ya no volvi\u00f3.<\/p>\n<\/blockquote>\n\n\n\n

Luego, al calcular los trigramas de ambos textos, tenemos:<\/p>\n\n\n\n

trigrama<\/strong><\/td>frecuencia<\/strong><\/td><\/tr>
Elo<\/td>1<\/td><\/tr>
los<\/td>4<\/td><\/tr>
osd<\/td>2<\/td><\/tr>
sde<\/td>3<\/td><\/tr>
dem<\/td>1<\/td><\/tr>
ema<\/td>1<\/td><\/tr>
.<\/td>.<\/td><\/tr>
.<\/td>.<\/td><\/tr>
.<\/td>.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Esto implica que la regresi\u00f3n log\u00edstica viene dada por:<\/p>\n\n\n\n

\u03c3<\/mi>(<\/mo>z<\/mi>)<\/mo>=<\/mo>w<\/mi>1<\/mn><\/msub>\u22c5<\/mo>E<\/mi>l<\/mi>o<\/mi>+<\/mo>w<\/mi>2<\/mn><\/msub>\u22c5<\/mo>l<\/mi>o<\/mi>s<\/mi>+<\/mo>w<\/mi>3<\/mn><\/msub>\u22c5<\/mo>o<\/mi>s<\/mi>d<\/mi>+<\/mo>w<\/mi>4<\/mn><\/msub>\u22c5<\/mo>s<\/mi>d<\/mi>e<\/mi>+<\/mo>w<\/mi>5<\/mn><\/msub>\u22c5<\/mo>d<\/mi>e<\/mi>m<\/mi>+<\/mo>.<\/mi>.<\/mi>.<\/mi>+<\/mo><\/mrow>\\sigma(z) = w_{1}\\cdot Elo + w_{2}\\cdot los + w_{3}\\cdot osd + w_{4}\\cdot sde + w_{5}\\cdot dem + … + <\/annotation><\/semantics><\/math><\/div>\n\n\n\n

donde cada regresor es la funci\u00f3n t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo><\/mrow>tfidf(g,d)<\/annotation><\/semantics><\/math>, para ese trigrama g<\/mi>g<\/annotation><\/semantics><\/math>. En la siguiente secci\u00f3n calcularemos los trigramas para el corpus de entrenamiento real, y su respectivo t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo><\/mrow>tfidf(g,d)<\/annotation><\/semantics><\/math>.<\/p>\n\n\n\n

Calculando trigramas<\/p>\n\n\n\n

La estrategia que emplearemos ser\u00e1 computar los trigramas para cada observaci\u00f3n. En otras palabras, para cada texto medieval y no medieval, calcularemos trigramas. Al hacer esto, obtenemos lo siguiente:<\/p>\n\n\n\n

N\u00famero total de documentos<\/td>998<\/td><\/tr>
Documentos medievales<\/td>500<\/td><\/tr>
Documentos modernos<\/td>498<\/td><\/tr>
N\u00famero de trigramas distintos<\/td>7.396<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Lo anterior implica que tendremos 7.396 regresores. Respecto a aquellos, los 9 que tienen mayor TF-IDF promedio (1<\/mn>N<\/mi><\/mfrac>\u2211<\/mo>d<\/mi>=<\/mo>1<\/mn><\/mrow>N<\/mi><\/msubsup>t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo><\/mrow>\\frac{1}{N} \\sum_{d=1}^{N} tfidf(g,d)<\/annotation><\/semantics><\/math>) son:<\/p>\n\n\n\n
Trigramas<\/td>TF-IDF promedio<\/td><\/tr>
‘as ‘<\/td>0.095239<\/td><\/tr>
‘ de’<\/td>0.090066<\/td><\/tr>
‘ e ‘<\/td>0.085153<\/td><\/tr>
‘os ‘<\/td>0.073972<\/td><\/tr>
‘ qu’<\/td>0.069798<\/td><\/tr>
‘en ‘<\/td>0.068841<\/td><\/tr>
‘es ‘<\/td>0.068074<\/td><\/tr>
‘ la’<\/td>0.065219<\/td><\/tr>
‘que’<\/td>0.062593<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

En este sentido, vale la pena destacar que el valor del regresor para esa estimaci\u00f3n es t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo><\/mrow>tfidf(g,d)<\/annotation><\/semantics><\/math>, no el promedio que presentamos en la tabla. Con t<\/mi>f<\/mi>i<\/mi>d<\/mi>f<\/mi>(<\/mo>g<\/mi>,<\/mo>d<\/mi>)<\/mo><\/mrow>tfidf(g,d)<\/annotation><\/semantics><\/math> calculado, estamos en condiciones de estimar los par\u00e1metros de la regresi\u00f3n log\u00edstica.<\/p>\n\n\n\n

Regresi\u00f3n Log\u00edstica<\/p>\n\n\n\n

Una vez estimada la regresi\u00f3n log\u00edstica, un ejercicio \u00fatil es identificar qu\u00e9 trigramas tienen coeficientes positivos, y cuales tienen negativos. Esto nos permite determinar aquellos trigramas que empujan un texto a ser medieval (coeficientes positivos) o a ser no medieval (coeficientes negativos). En este sentido, los top 9 positivos vienen dados por:<\/p>\n\n\n\n

Trigrama<\/td>Coeficiente<\/td><\/tr>
‘ e ‘<\/td>4.525484<\/td><\/tr>
‘as ‘<\/td>2.379491<\/td><\/tr>
‘es ‘<\/td>2.010735<\/td><\/tr>
‘ qu’<\/td>1.767268<\/td><\/tr>
‘en ‘<\/td>1.765731<\/td><\/tr>
‘s e’<\/td>1.726395<\/td><\/tr>
‘las’<\/td>1.568585<\/td><\/tr>
‘que’<\/td>1.291647<\/td><\/tr>
‘ de’<\/td>1.291306<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

y los top 9 negativos por:<\/p>\n\n\n\n

Trigrama<\/td>Coeficiente<\/td><\/tr>
‘ y ‘<\/td>-1.373146<\/td><\/tr>
‘me ‘<\/td>-1.094712<\/td><\/tr>
‘a, ‘<\/td>-0.959669<\/td><\/tr>
‘o, ‘<\/td>-0.955032<\/td><\/tr>
‘\u00eda ‘<\/td>-0.931607<\/td><\/tr>
‘ ve’<\/td>-0.860371<\/td><\/tr>
‘s, ‘<\/td>-0.849333<\/td><\/tr>
‘a. ‘<\/td>-0.823249<\/td><\/tr>
‘ ha’<\/td>-0.808638<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

como podemos ver a simple vista, al parecer, la regresi\u00f3n log\u00edstica no ha sido particularmente buena en detectar combinaciones de caracteres propias del castellano medieval, puesto que las combinaciones que m\u00e1s empujan a medieval, son muy similares a las que podr\u00edamos ver en textos no medievales. En la siguiente secci\u00f3n, testearemos esta intuici\u00f3n de una forma m\u00e1s rigurosa.<\/p>\n\n\n\n

Testeando rendimiento<\/p>\n\n\n\n

Para testear el rendimiento de la estimaci\u00f3n emplearemos 200 textos medievales que no est\u00e1n en el training set, y luego veremos qu\u00e9 porcentaje es correctamente clasificado como medieval (desde aqu\u00ed en adelante,recall<\/em> medieval).<\/p>\n\n\n\n

N\u00famero de textos medievales en test<\/td>200<\/td><\/tr>
Textos medievales predichos correctamente como medievales<\/td>150<\/td><\/tr>
Porcentaje de acierto sobre textos medievales<\/td>75%<\/td><\/tr>
Recall medieval<\/td>0.75<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

La tabla anterior muestra que de 200 textos medievales, el modelo acierta correctamente a 150. Para poder analizar el rendimiento en t\u00e9rminos relativos, tenemos que hacer el mismo ejercicio usando redes neuronales. En la siguiente secci\u00f3n llevaremos a cabo esto.<\/p>\n\n\n\n

Redes Neuronales<\/h2>\n\n\n\n

La arquitectura que emplearemos ser\u00e1 una red neuronal feedforward <\/em>con dos capas ocultas. La primera tendr\u00e1 128 neuronas, y la segunda 64. Adem\u00e1s, la funci\u00f3n de activaci\u00f3n ser\u00e1 ReLU. Al estimarla, obtenemos los siguientes resultados:<\/p>\n\n\n\n

N\u00famero de textos medievales en test<\/td>200<\/td><\/tr>
Textos medievales predichos correctamente como medievales<\/td>200<\/td><\/tr>
Porcentaje de acierto sobre textos medievales<\/td>100%<\/td><\/tr>
Recall medieval<\/td>1<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Como podemos ver en nuestro experimento, la red neuronal super\u00f3 a la regresi\u00f3n log\u00edstica al clasificar correctamente todos los textos medievales del conjunto de prueba, mientras que la regresi\u00f3n log\u00edstica identific\u00f3 solo el 75%. Una explicaci\u00f3n plausible es que la regresi\u00f3n log\u00edstica combina los trigramas de manera lineal: cada rasgo aporta de forma independiente a la decisi\u00f3n final. La red neuronal, en cambio, puede aprender combinaciones no lineales entre rasgos ortogr\u00e1ficos, morfol\u00f3gicos y gr\u00e1ficos del castellano medieval. Eso le permite captar patrones m\u00e1s complejos, como interacciones entre secuencias de caracteres, que un modelo lineal no representa bien. En esta tarea, esa flexibilidad parece haber marcado la diferencia.<\/p>\n\n\n\n

Debido a que el modelo es relativamente exitoso, ser\u00eda interesante explorar si es capaz de detectar peculiaridades del castellano medieval. Una manera de hacerlo es identificar qu\u00e9 trigramas son los que empujan un texto a ser medieval o no. A pesar de que no podemos obtener este n\u00famero de forma directa (como en el caso de la regresi\u00f3n log\u00edstica), es posible llevar a cabo una aproximaci\u00f3n, que implica multiplicar las matrices de los pesos para obtener una especie de efecto agregado desde la entrada hasta la salida. Al hacer esto, podemos ver que los trigramas que parecen empujar m\u00e1s hacia medieval son:<\/p>\n\n\n\n

Trigrama<\/td>Coeficiente<\/td><\/tr>
‘tvl’<\/td>0.255863<\/td><\/tr>
‘\u00e7as’<\/td>0.253850<\/td><\/tr>
‘sel’<\/td>0.250878<\/td><\/tr>
‘rau’<\/td>0.248537<\/td><\/tr>
‘sea’<\/td>0.244449<\/td><\/tr>
‘hd ‘<\/td>0.241685<\/td><\/tr>
‘\u00e7er’<\/td>0.235730<\/td><\/tr>
‘son’<\/td>0.234452<\/td><\/tr>
‘xii’<\/td>0.233908<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

y los que empujan m\u00e1s hacia moderno son:<\/p>\n\n\n\n

Trigrama<\/td>Coeficiente<\/td><\/tr>
‘\u00f3n ‘<\/td>-0.245191<\/td><\/tr>
‘, p’<\/td>-0.220347<\/td><\/tr>
‘mis’<\/td>-0.220332<\/td><\/tr>
‘ ve’<\/td>-0.218641<\/td><\/tr>
‘, s’<\/td>-0.216067<\/td><\/tr>
‘ja ‘<\/td>-0.216041<\/td><\/tr>
‘adr’<\/td>-0.215468<\/td><\/tr>
‘ti\u00f3’<\/td>-0.214826<\/td><\/tr>
‘ame’<\/td>-0.213638<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Estos resultados muestran una foto distinta a la obtenida con la regresi\u00f3n log\u00edstica. En particular, podemos ver que el car\u00e1cter ‘\u00e7<\/a>‘, que se us\u00f3 en el espa\u00f1ol medieval, pero luego fue abandonado tras el reajuste de las sibilantes<\/a> durante los siglos\u00a0XVI\u00a0y\u00a0XVII, aparece de forma m\u00e1s frecuente en los trigramas que empujan un texto a ser medieval, lo que claramente es una buena se\u00f1al, puesto que es una peculiaridad que pertenece exclusivamente al castellano medieval, cuando es comparado con el moderno.<\/p>\n\n\n\n

Notas finales, y pr\u00f3xima entrada\u2026<\/em><\/strong><\/p>\n\n\n\n

En el siguiente ejercicio ponemos a prueba la capacidad de la regresi\u00f3n log\u00edstica y de una red neuronal feedforward<\/em> para clasificar textos medievales. Los resultados muestran que la red neuronal fue relativamente m\u00e1s eficaz. En particular, logr\u00f3 clasificar correctamente todos los textos medievales del conjunto de prueba, mientras que la regresi\u00f3n log\u00edstica solo identific\u00f3 correctamente el 75% de ellos.<\/p>\n\n\n\n

En la pr\u00f3xima entrega, introduciremos los Large Language Models. Stay tuned!<\/p>\n\n\n\n

Jos\u00e9 Miguel Mu\u00f1oz Urra \u2013 jmunozu@pulki.es<\/a><\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

En la entrega pasada explicamos algunos conceptos clave para entender redes neuronales. Dada su importancia, en la presente veremos si una red neuronal puede distinguir entre fragmentos de castellano medieval y de espa\u00f1ol moderno. Adem\u00e1s, con este ejemplo en mente, compararemos la performance entre una red neuronal y una regresi\u00f3n log\u00edstica. Para esto, construiremos un […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-185","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/posts\/185","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/comments?post=185"}],"version-history":[{"count":14,"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/posts\/185\/revisions"}],"predecessor-version":[{"id":200,"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/posts\/185\/revisions\/200"}],"wp:attachment":[{"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/media?parent=185"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/categories?post=185"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/pulki.es\/blog\/index.php\/wp-json\/wp\/v2\/tags?post=185"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}