El espejismo NOMINATE: cuando las métricas perfectas significan algo malo

reportes
CongresoCiencia Datos

El espejismo

Hay un momento en todo análisis de datos en el que las métricas te miran de vuelta y te dicen: “está todo perfecto”. El algoritmo NOMINATE, desarrollado en los años ochenta para mapear ideológicamente al Congreso de Estados Unidos, acaba de arrojar números que harían llorar de envidia a cualquier científico de datos. Classification Correctness (CC) entre 97.8% y 99.6%. Aggregate Proportion of Rollcalls Explained (APRE) entre 0.87 y 0.99. Para ponerlo en perspectiva: el mismo algoritmo aplicado al Senado estadounidense —donde NOMINATE nació y donde se ha refinado durante cuatro décadas— produce CC cercano al 88% y APRE de 0.64. México no solo supera a Estados Unidos: lo aplasta.

Si esto fuera un modelo de machine learning, lo publicarías mañana en Nature. Un clasificador con 99% de exactitud es el mejor modelo jamás construido en su dominio. Pero aquí viene el giro: esas métricas perfectas no significan que NOMINATE esté funcionando bien en México. Significan algo mucho menos glamoroso: que los datos son tan deterministas que cualquier modelo trivial los predice casi a la perfección. NOMINATE no está siendo brillante; está siendo ocioso.

Pensemos en un termómetro que siempre marca 37 grados sin importar lo que le pase al paciente. El instrumento funciona técnicamente —su escala está calibrada, sus lecturas son reproducibles—, pero no discrimina entre estados distintos. No distingue a quien está perfectamente sano de quien tiene 40 grados de fiebre. NOMINATE en México es ese termómetro: sus números son impecables porque no tiene nada difícil que medir. Cuando la respuesta a cada votación es predecible desde el color de la credencial, el algoritmo apenas necesita calcular.

Esta no es una sorpresa si has seguido la serie del Observatorio Congreso. Ya vimos que la disciplina partidista ronda el 99.7% — como analizamos en Poder, disciplina y el mito de la oposición —, que el mapa de alianzas entre legislaturas tiene un ARI de 1.0 — congelamiento absoluto del Congreso — y que la oposición tiene 0% de poder empírico. NOMINATE simplemente confirma el congelamiento desde otro ángulo: cuando los diputados de cada bloque votan en bloque siempre, el algoritmo no necesita ningún esfuerzo para clasificarlos. El espectro ideológico se colapsa en dos puntos fijos separados por un abismo vacío de disidencia.

Entonces la pregunta que recorre este artículo no es si NOMINATE funciona —funciona, técnicamente, como el termómetro que marca 37—, sino otra más incómoda: ¿qué mide realmente un instrumento que parece perfecto en un sistema donde la variación política es prácticamente nula? O, formulado de forma más directa: ¿cómo es posible que métricas tan buenas signifiquen algo tan malo?

Un termómetro diseñado para otro clima

NOMINATE —las siglas vienen de NOMINAL Three-Step Estimation— es un algoritmo creado por Keith Poole y Howard Rosenthal en 1997 para hacer algo aparentemente simple: posicionar a cada legislador en un mapa según cómo vota. La idea es intuitiva. Si dos diputados votan igual en casi todo, sus puntos en el mapa quedan cerca. Si votan distinto, quedan lejos. El algoritmo toma una matriz de votaciones —quién votó qué— y produce coordenadas (una o dos dimensiones) para cada persona.

Detrás de esa simplicidad hay un modelo estadístico con tres supuestos que val la pena enumerar:

  • Punto ideal estable: cada legislador tiene una preferencia ideológica fija durante el periodo analizado. No cambia de opinión de una votación a otra; su posición es un punto en el espacio que no se mueve.
  • Votación probabilística: si la propuesta está cerca del punto ideal del legislador, vota a favor con alta probabilidad. Si está lejos, vota en contra. No es una regla determinista —hay incertidumbre—. Un parámetro llamado beta controla qué tan nítida es esa frontera entre el “sí” y el “no”: beta alto significa una línea casi perfecta, beta bajo significa una zona difusa donde los votos son impredecibles.
  • Espacio de baja dimensionalidad: toda la complejidad política se captura en uno o dos ejes. No necesitas quince dimensiones —con una o dos basta para explicar la mayor parte de las votaciones.

Estos supuestos no son capricho matemático. Poole y Rosenthal los diseñaron para el Congreso de Estados Unidos, un lugar donde la disciplina partidista ronda entre 70 y 85%. En ese contexto hay republicanos liberales (los llamados Rockefeller Republicans), demócratas conservadores del sur (Southern Democrats), votaciones cruzadas y fracciones internas que generan variabilidad real entre individuos del mismo partido. NOMINATE fue pensado precisamente para capturar esa variabilidad: separar al republicano de Pennsylvania del republicano de Alabama porque sus registros, aunque mayoritariamente alineados, son distinguibles.

El problema empieza cuando tomas ese termómetro y lo metes en un clima distinto. México tiene disciplina partidista superior al 99%: casi nadie se sale de la línea del partido. Con esa disciplina no hay votaciones cruzadas que distinguir, no hay fracciones internas que separar, no hay variabilidad individual que capturar. El supuesto de votación probabilística colapsa en votación determinista: todos del mismo partido votan igual, siempre. Un clasificador trivial que siempre predice la posición de la mayoría acierta casi todo. NOMINATE no está midiendo preferencias individuales: está midiendo disciplina de bloque.

El experimento

Para poner estas sospechas a prueba, tomamos los registros del SITL/INFOPAL y corrimos NOMINATE sobre siete legislaturas de la Cámara de Diputados (LX a LXVI): 3,323 legisladores, 416 votaciones nominales, siete mapas espaciales. A primera vista los números se ven bien. Demasiado bien.

LegislaturaLegisladoresVotacionesCCAPREβwConvergió
LX2221199.6%0.9830.01.0No
LXI4843397.9%0.8730.00.63No
LXII4962198.5%0.9130.00.58No
LXIII57814098.1%0.8930.00.60No
LXIV4952297.8%0.9130.00.83No
LXV5228099.5%0.9930.01.0No
LXVI52610999.3%0.9730.01.0No

Para leer la tabla, un repaso rápido. CC (Correct Classification) es el porcentaje de votos que el modelo clasifica correctamente. APRE mide cuánta mejora aporta sobre el clasificador más tonto posible —adivinar siempre la posición de la mayoría—. β controla la nitidez de la frontera entre a favor y en contra: a mayor β, más determinista la recta de corte. w es el peso relativo de la segunda dimensión frente a la primera. Y Convergió indica si el algoritmo llegó a solución estable o se detuvo por agotar iteraciones.

Hasta ahí, razonable. Pero al mirar las siete filas con cuidado, aparecen cuatro banderas rojas.

β saturado en todas las legislaturas

β vale 30.0 en las siete. Sin excepción. Ese no es un hallazgo —es el límite superior que el propio NOMINATE impone. En cada legislatura el algoritmo empujó la frontera de decisión al máximo y aun así no logró separar mejor a los legisladores. Cuando el modelo pisa el acelerador a fondo y el freno lo pone el bound del sistema, la conclusión es clara: los datos no tienen suficiente variación para que la recta encuentre estructura. NOMINATE no resuelve nada —golpea la pared.

Ninguna legislatura convergió

La columna “Convergió” es un muro de “No”. En ningún caso el algoritmo alcanzó solución estable dentro de las 100 iteraciones. Los puntos ideales no son equilibrios del sistema —son fotografías de un proceso truncado. Cambia el orden de las votaciones o agrega una iteración y los puntos se moverán. No hay un “mapa” del Congreso en esas coordenadas: hay una instantánea de un algoritmo que no terminó.

w = 1.0 en tres legislaturas

En LX, LXV y LXVI, w vale exactamente 1.0: la segunda dimensión tiene el mismo peso que la primera. No es señal de riqueza multidimensional —es señal de indecisión. Cuando el algoritmo no puede determinar cuánta dimensión necesita para explicar los datos, reparte el peso por igual y a ver qué pasa. En un Congreso donde casi todos los votos son predecibles desde la credencial, dos dimensiones de igual peso no reflejan ejes ideológicos distintos —reflejan que el algoritmo no sabe qué hacer con la poca variación disponible.

CC mayor al 97% en todas las legislaturas

Esta es la bandera más engañosa. Los valores de 97.8 a 99.6% parecen indicar que NOMINATE funciona mejor en México que en Estados Unidos, donde ronda el 88%. Pero ya vimos por qué: en un Congreso donde casi nadie se sale de la línea del partido, un clasificador trivial que siempre predice la posición de la mayoría acierta casi todo. CC no mide capacidad predictiva —mide poder discriminativo, y en un Congreso sin disidencia, discriminar es trivial. El alto CC no es mérito del algoritmo: es un espejismo generado por la disciplina.

Cuatro banderas rojas. Ninguna legislatura exenta. NOMINATE no está revelando estructura ideológica —está colapsando ante la falta de variación y disfrazando ese colapso con métricas que parecen exitosas. Pero los números en una tabla apenas cuentan la mitad de la historia. Cuando despliegas esos puntos en un plano, el colapso se hace visible.

El colapso

Casi un tercio de los legisladores son clones

De los 3,323 legisladores que pasan por el análisis NOMINATE a lo largo de siete legislaturas, el 27.9% comparte coordenadas exactas con al menos otro legislador. En total, solo 2,580 puntos únicos aparecen en el mapa espacial. No están cerca, no son vecinos —son el mismo punto. NOMINATE no puede distinguirlos porque sus patrones de votación son idénticos. Y cuando la disciplina es casi total, casi todos los legisladores de un partido votan igual, así que el algoritmo los amontona.

El caso extremo es la LX. Con solo 11 votaciones en el registro, el 50.8% de los panistas terminan colapsados en un solo punto. La mitad de Acción Nacional, reducida a un pixel. No es un problema de resolución: es la consecuencia directa de datos donde la variación es tan baja que NOMINATE no tiene material para separar a nadie.

PVEM: el espejo de su aliado

El Partido Verde Ecologista de México tiene una particularidad que NOMINATE registra con precisión: en cada legislatura, sus coordenadas colapsan exactamente sobre las de su aliado de coalición. En la LX, el PVEM se superpone punto por punto con el PRI. En la LXVI, con Morena. No hay margen de separación ni indicio de identidad ideológica propia.

Esto no es un error del algoritmo —es una lectura fiel de los datos. El PVEM ha operado como satélite disciplinado de su socio mayor, y NOMINATE refleja ese comportamiento. Lo que mide no es la ideología del Verde: mide la disciplina de coalición. El PVEM y su aliado son, para NOMINATE, la misma entidad política. Cualquier análisis que los trate como actores distintos en el espacio ideológico construye sobre una distinción que los datos no sostienen.

La segunda dimensión es ruido

La primera dimensión (dim_1) concentra el 69.3% de la varianza total. La segunda (dim_2) se queda con el 30.7%. En el Congreso estadounidense, la dim_2 captura ejes reales de conflicto —históricamente, cuestiones raciales o de política exterior que cortan transversalmente a la división izquierda-derecha. En México, esa interpretación no se sostiene.

En las legislaturas donde el peso w alcanza 1.0 —la LX, la LXV y la LXVI—, la dim_2 queda 4.41 veces más comprimida que en legislaturas con w normal. No hay un segundo eje ideológico significativo: dim_2 captura residuos del algoritmo, ruido numérico cuando NOMINATE intenta proyectar variación en un eje sin contenido político real. Presentarla como conflicto latente es leer patrones donde solo hay vacío.

Disidentes que no lo son

Hay 325 legisladores —el 9.8% del total— que aparecen como puntos aislados en los extremos del mapa. En un análisis clásico, se interpretarían como disidentes con posiciones ideológicas independientes. En el Congreso mexicano, la mayoría no lo son.

Estos puntos reflejan uno o dos votos diferentes del resto de su partido, combinados con un beta saturado y falta de convergencia en la estimación. No son legisladores con convicciones propias que el algoritmo detecta con sensibilidad: son artefactos numéricos del truncamiento del modelo cuando intenta distinguir entre votaciones casi idénticas. Presentar esos puntos como evidencia de disidencia es confundir un glitch matemático con un acto político.

Más votaciones, mismo problema

La intuición natural es culpar a la cantidad de datos. Si tuviéramos más votaciones, NOMINATE separaría mejor a los legisladores. Los números no respaldan esa esperanza. La correlación entre número de votaciones y dispersión de coordenadas es débil y negativa: r = -0.17. Más votaciones no producen más dispersión.

El caso más revelador: la LXIII tiene 140 votaciones —el dataset más grande— y su dispersión no es significativamente mayor que la de la LXII, con apenas 21. Seis veces más datos, el mismo resultado. El problema no es la cantidad de información: es la estructura. Cuando la disciplina colapsa la variación a un dígito decimal, agregar votaciones solo repite el patrón. NOMINATE no necesita más datos: necesita datos con variación real. Y en el Congreso mexicano, esa variación no existe.

La literatura lo sabía

No somos los primeros en notar que NOMINATE se tambalea cuando la disciplina partidista es extrema. La literatura lo viene documentando desde hace dos décadas, y las coincidencias son lo suficientemente sistemáticas como para hablar de un patrón, no de una opinión aislada.

Empecemos por lo más contundente: los propios creadores del método. Carroll y Poole (2014) reconocen, en el Oxford Handbook of Legislative Studies, que existen “substantial limitations” para “export standard interpretations of ideal point estimates” cuando se trabaja con legislaturas de muy alta disciplina. Si los padres de NOMINATE dicen que hay problemas, conviene escucharlos.

El caso clásico lo documentaron Rosenthal y Voeten (2004) con la Cuarta República Francesa (1946-1958). Lo que encontraron fue algo que ellos llamaron “perfect spatial voting”: las coaliciones votaban con tanta coherencia que el espacio político colapsaba. No era un artefacto de los datos —era la realidad de un sistema donde la disciplina de bloque eliminaba toda variación individual. Francia no es México, pero la mecánica es la misma: cuando los partidos controlan el voto, los puntos ideológicos individuales pierden significado.

Spirling y McLean (2007) llegaron a una conclusión paralela estudiando el sistema Westminster en el Reino Unido. Mostraron que la disciplina parlamentaria británica viola directamente los supuestos fundamentales de NOMINATE: el método asume que las votaciones revelan preferencias individuales, pero en Westminster las preferencias que se revelan son las del liderazgo partidista, no las del diputado. Otro sistema parlamentario, otro fracaso del mismo mecanismo.

Laver (2014) señala la clave de forma implícita pero inequívoca: NOMINATE funciona en el Congreso estadounidense precisamente porque la disciplina es baja —entre 70 y 85 por ciento según las mediciones clásicas. Esa falta de disciplina es lo que permite que las preferencias individuales se expresen en las votaciones y el método tenga algo que estimar. En sistemas donde la disciplina ronda el 99 por ciento, como el congreso mexicano, esa variabilidad simplemente no existe en los datos. NOMINATE no tiene material con que trabajar.

De América Latina viene la confirmación. De Freitas et al. (2012) aplicaron W-NOMINATE al Congreso brasileño entre 1988 y 2010 y encontraron algo familiar: las coaliciones presidenciales eclipsan la ideología individual. Los partidos que votan sistemáticamente con el presidente colapsan en el mismo punto, independientemente de lo que sus programas digan. Brasil no es México, pero la dinámica de las coaliciones que aplanan el espacio ideológico es casi idéntica.

Poole y Rosenthal (2007) lo formularon con claridad meridiana: “The need to form parliamentary majorities limits dimensionality.” Reconocen que la disciplina de bloque reduce las dimensiones del espacio político. En el límite extremo —cuando todo un bloque vota idéntico— el espacio colapsa a una sola dimensión que solo separa bloques, no individuos. Es decir, NOMINATE deja de medir ideología y se convierte en un detector de coaliciones. Útil tal vez, pero no lo que promete.

La convergencia es notable: Estados Unidos funciona con disciplina baja, Francia falla con disciplina alta, el Reino Unido falla con disciplina alta, Brasil falla con coaliciones rígidas, y el método fracasa en todos los casos donde los individuos no pueden votar libremente. No estamos inventando un problema —estamos documentando uno que la literatura ya identificó.

Lo que NOMINATE realmente nos dice

Regresemos al inicio. Las métricas perfectas eran un espejismo: NOMINATE no produce un mapa espacial significativo de la Cámara de Diputados. Produce coordenadas que parecen informativas pero que son artefactos de un método diseñado para democracias competitivas, donde los legisladores cruzan líneas con suficiente frecuencia para revelar preferencias latentes. En México ese clima no existe, y el resultado es un mapa de dos puntos separados por un vacío donde no hay nada que interpretar.

La ironía está en las banderas rojas que cualquier científico de datos celebraría en otro contexto. Betas saturadas, disidentes que aparecen y desaparecen según el corte temporal porque el ruido estadístico los inventa cuando la señal es demasiado débil. Un instrumento que siempre marca lo mismo no discrimina: ahí está el colapso.

Conectemos con la narrativa del Observatorio Congreso. Primero vimos que Morena concentra el 83% del poder formal con mayoría simple. Después, que la oposición carece de poder empírico. Luego, que el mapa de alianzas entre legislaturas tiene un ARI de 1.0 —comunidades idénticas, un Congreso congelado. NOMINATE añade una capa: ni siquiera las herramientas analíticas estándar pueden extraer información individual de estos datos. El Congreso no solo está congelado políticamente —está congelado analíticamente.

Y ahí reside el hallazgo que no esperábamos. NOMINATE nos dice algo valioso, no sobre los legisladores individuales, sino sobre el sistema que los produce. Un sistema donde la disciplina de partido borra la individualidad de los representantes es un sistema donde la votación nominal ha perdido su función de revelar preferencias. Los votos se registran, pero no informan. Magar y Estévez (2012) ya habían aplicado ideal points al Congreso mexicano con resultados similares: el método captura la estructura de bloques, no las preferencias individuales. Para un observatorio del congreso, reconocer esta limitación es quizás más importante que cualquier mapa ideológico que hubiéramos querido construir.

Cerramos con la pregunta abierta: si NOMINATE no funciona porque los datos no dejan rastro individual, ¿qué herramientas sí funcionan? ¿Cómo se mide un sistema donde la variación es tan baja que las metodologías estándar no pueden distinguir entre un legislador y otro? No tengo una respuesta definitiva —pretenderlo sería deshonesto. Pero la pregunta en sí ya dice algo: cuando las herramientas se rompen, a veces lo que se rompe no es la herramienta.

Fuentes