Transformer

La arquitectura de red neuronal que revolucionó la IA desde 2017. Permite procesar texto completo en paralelo y capturar relaciones entre palabras sin importar su distancia en el texto. La base de todos los LLMs modernos.

Los modelos anteriores leían texto como tú lo leerías: palabra por palabra, de izquierda a derecha. El Transformer puede leer toda la frase a la vez y entender cómo cada palabra se relaciona con todas las demás simultáneamente.

En 'El banco donde me senté estaba al lado del banco donde guardo mi dinero', el Transformer entiende que 'banco' significa cosas distintas en cada caso gracias a las relaciones con las palabras de alrededor.