Esta nota es la evidencia detrás de una de las profecías del Oráculo IA: "Pasa: ya pasó y nadie se dio cuenta."
Nivel de evidencia: Establecido
El chiste
El machine learning lleva más de una década en decisiones de crédito, seguros, contratación y justicia penal. El "boom de la IA" de 2023 en adelante es, en gran medida, la parte visible de algo que ya estaba pasando.
Lo que dice la evidencia
- ProPublica — Angwin, Larson, Mattu & Kirchner, "Machine Bias" (mayo 2016). El algoritmo COMPAS, usado en tribunales de EE.UU. para predecir reincidencia, etiquetaba a acusados negros que NO reincidieron como "alto riesgo" a casi el doble de tasa que a blancos (45% vs. 24% de falsos positivos).
- La réplica y el debate matemático. Chouldechova (2016) y Kleinberg et al. (2016) demostraron que es matemáticamente imposible satisfacer simultáneamente todas las definiciones de fairness cuando las tasas base entre grupos difieren. Barenstein (2019, arXiv:1906.04711) identificó además un error de procesamiento en el dataset original de ProPublica que infló las tasas de reincidencia reportadas.
- El "AI effect": fenómeno documentado (McCarthy, McCorduck) por el cual, cuando una técnica de IA empieza a funcionar de forma rutinaria, deja de llamarse "IA" — filtros de spam, credit scoring, recomendadores, OCR.
Lo que está en disputa
Que el ML lleva más de una década en producción en crédito, seguros, hiring y justicia está bien establecido. El grado y la dirección exacta del sesgo de COMPAS específicamente sigue en disputa técnica — no es un caso cerrado, sino uno donde distintas definiciones de justicia son mutuamente incompatibles.
El mito que conviene desactivar
"COMPAS está probadamente sesgado", a secas, simplifica de más. Es más preciso decir que el caso reveló que distintas definiciones matemáticas de fairness no pueden satisfacerse todas a la vez, y que además hubo cuestionamientos al análisis de datos original.
Para seguir leyendo
- ProPublica, "Machine Bias"
- Chouldechova, "Fair prediction with disparate impact" (2016)
- Barenstein, "ProPublica's COMPAS Data Revisited"