Esta nota es la evidencia detrás de una de las profecías del Oráculo IA: "Pasa: el día que salga la próxima versión del modelo de turno."
Nivel de evidencia: Establecido (scaling laws) / Debatido (desaceleración y emergencia)
El chiste
La idea de que "el próximo modelo lo cambia todo" tiene una base técnica real: el rendimiento de los LLMs sí escala de forma predecible con el cómputo. Lo que está en disputa es qué tan rápido se puede seguir escalando.
Lo que dice la evidencia
- Kaplan, McCandlish, Henighan, Brown et al., "Scaling Laws for Neural Language Models", arXiv:2001.08361 (2020). La pérdida del modelo escala como una ley de potencia con el tamaño del modelo, el dataset y el cómputo, a lo largo de más de 7 órdenes de magnitud.
- Hoffmann et al. (DeepMind), "Training Compute-Optimal Large Language Models" (Chinchilla), arXiv:2203.15556 (2022). Corrige a Kaplan: para un entrenamiento óptimo, parámetros y tokens deben escalar en paralelo (~20 tokens por parámetro). Chinchilla (70B parámetros, 1,4T tokens) superó a modelos mucho más grandes como Gopher (280B).
- Epoch AI (Sevilla & Roldán, 2024): el cómputo usado para entrenar modelos notables creció ~4,1x por año (IC 90%: 3,7x–4,6x) entre 2010 y mayo de 2024.
- Villalobos, Ho, Sevilla et al. (Epoch AI), "Will we run out of data?", arXiv:2211.04325 (ICML 2024). El stock efectivo de texto humano de calidad (~300 billones de tokens) se usaría por completo entre 2026 y 2032 — el llamado "data wall".
- Schaeffer, Miranda & Koyejo, "Are Emergent Abilities of Large Language Models a Mirage?", NeurIPS 2023 (Outstanding Paper), arXiv:2304.15004. Las "capacidades emergentes" (saltos súbitos de habilidad con la escala) pueden ser un artefacto de la elección de métricas discontinuas: con métricas lineales, la mejora es suave y predecible.
Lo que está en disputa
Las scaling laws y Chinchilla están bien establecidas. Si el escalado se está desacelerando en 2024–2026 es objeto de debate activo. El "data wall" es una proyección con rango amplio (2026–2032), no una fecha puntual. La tesis de Schaeffer sobre la "emergencia" como espejismo es influyente pero también discutida.
El mito que conviene desactivar
"Los datos se acaban en 2026" simplifica un rango real de 2026–2032, con mediana cerca de 2028.
Para seguir leyendo
- Kaplan et al., arXiv:2001.08361
- Hoffmann et al., arXiv:2203.15556
- Villalobos et al., arXiv:2211.04325
- Schaeffer et al., NeurIPS 2023