Por unas ciencias sociales más científicas

Javier Martín Reyes

Rein Taagepera, Making Social Sciences More Scientific: The Need for Predictive Models, Oxford University Press, Nueva York, 2008, 254 p.

Egresado de la licenciatura en ciencia política y relaciones internacionales del CIDE y estudiante de derecho en la UNAM. Fue estudiante visitante (Student-at-Large) en la Universidad de Chicago durante el invierno y la primavera de 2009. Miembro de la Conferencia Mariano Otero, A.C. Actualmente trabaja en el Tribunal Electoral del Poder Judicial de la Federación (TEPJF).

Making Social Sciences More Scientific: The Need for Predictive Models, el más reciente libro de Rein Taagepera (Universidad de California, Irvine), es probablemente una de las más duras críticas que se han escrito en contra del uso de métodos cuantitativos en las ciencias sociales. Desde el primer párrafo de su capítulo inicial, el autor es contundente: "la dependencia excesiva y ritualista en el análisis estadístico de datos, en general, y de la regresión lineal, en particular" [es] "un cáncer [que] está comiendo el estudio científico de la sociedad y la política" (p. 3). Para Taagepera —uno de los politólogos cuantitativos con mayor renombre— la lista de yerros es larga: los científicos sociales cada vez más "juegan a ser un estadísticos amateurs" (p. 10): dependen casi completamente de paquetes estadísticos para "probar modelos poco estrictos, exclusivamente direccionales, que tienen la mitad de probabilidad de ser correctos por pura probabilidad" (p. vii); se conforman "con publicar páginas llenas de coeficientes de regresiones (o peor aún, sólo R²)"; y los resultados de sus publicaciones "una vez que son impresos, jamás son usados de nuevo" (p. 11).

La crítica de Taagepera es, al mismo tiempo, llamativa, original y ambiciosa. Llamativa, pues la crítica no proviene —como suele suceder— de alguien ajeno a la metodología cuantitativa de las ciencias sociales. Taagepera es un prolífico productor y consumidor de métodos cuantitativos, un autor de textos clásicos sobre sistemas electorales que se distinguen por el uso extenso de estos métodos.¹ Lo original de la propuesta radica en que su argumento no encuadra con las respuestas que típicamente ofrece el debate entre cuantitativos y cualitativos. Ni propone abandonar —o por lo menos, limitar— el uso de métodos cuantitativos y para así reforzar el componente cualitativo de las investigaciones, ni apuesta por una mayor sofisticación de los métodos estadísticos que suelen emplearse. Por el contrario, Taagepera argumenta que las ciencias sociales deben emular la metodología de las ciencias naturales —particularmente, de la física— y construir modelos que a) cuenten con un fuerte anclaje lógico y b) sean cuantitativamente predictivos. Finalmente, la ambición de la propuesta es clara cuando el autor afirma categóricamente que:

[S]í, espero [que el libro] conduzca a avances importantísimos [...] Durante décadas, he ideado y probado un número importante de relaciones [de fenómenos sociopolíticos] que se encadenan y que están basadas en consideraciones lógicas. Estas [relaciones] califican como leyes en un sentido estrictamente científico, no sólo por presentar una relación cuantitativa, sino porque también plantean un modelo teórico que explica por qué estas relaciones deben prevalecer (p.13).

El objetivo de esta reseña es sintetizar y realizar un análisis crítico de los principales argumentos y propuestas desarrolladas en Making Social Sciences More Scientific: The Need for Predictive Models. Primeramente, se ofrece una breve síntesis de los capítulos que conforman el libro y, posteriormente, se señalan las mayores debilidades del argumento expuesto por Taagepera.

El libro está divido en tres secciones principales. La primera ("Las limitaciones de la metodología descriptiva") abarca los primeros siete capítulos y es, en términos generales, una dura y fundamentada crítica a la metodología y estándares que predominan en las investigaciones cuantitativas en las ciencias sociales. En el primer capítulo ("Por qué las ciencias sociales no son lo suficientemente científicas"), Taagepera argumenta que el potencial de las ciencias sociales —dese la psicología hasta la ciencia política— ha sido mermado debido a la presión para aplicar enfoques estadísticos simplistas, como la regresión linear y sus extensiones pro bit y logit. Señala que el principal problema de estas aproximaciones estadísticas es que son esencialmente descriptivas y, mediante la recopilación de datos, sólo pueden responder a la pregunta: ¿cómo son los fenómenos sociopolíticos? Es necesario, según Taagepera, dar un paso más y preguntarse: ¿cómo deben ser, en términos lógicos, las relaciones que encontramos en ciencias sociales? Para esto, son necesarios modelos que sean tanto consistentes en términos lógicos, como cuantitativamente específicos. Se trata, precisamente, del tipo de modelos que, según el autor, predominan en las ciencias naturales.

Para mostrar las limitantes de los métodos estadísticos que predominan en las ciencias sociales, en el capítulo dos ("¿Podrían las aproximaciones de ciencias sociales encontrar la ley de la gravedad?") se reportan los resultados de un experimento por demás interesante. Taagepera generó una serie de 25 datos con la fórmula de la gravitación universal² y la envió a distintos científicos sociales —desde estudiantes de doctorado hasta investigadores de tiempo completo— para ver si podían encontrar el patrón subyacente. A pesar de que los datos se ajustaban perfectamente a la fórmula de la gravitación, ningún científico social pudo encontrar el modelo correcto. No sólo eso: aunque claramente erróneos, los "resultados" a los que llegaron dichos académicos resultaron, paradójicamente, satisfactorios para los estándares actuales de las ciencias sociales. Se reportaron R² altas y los coeficientes estimados resultaron estadísticamente significativos. Con esto, el autor pretende mostrar que el uso aislado de métodos estadísticos es insuficiente para encontrar el tipo de relaciones que predominan en la física y que, según él, también se pueden encontrar en los fenómenos sociopolíticos.

En el capítulo tres ("Cómo construir modelos predictivos: simplicidad y ausencia de absurdos") Taagepera señala que son dos los principios que deben guiar la construcción de modelos lógicos: parsimonia y no predicción de absurdos (aun en condiciones extremas). El autor señala que las relaciones lineales que usualmente se emplean presentan un doble inconveniente: por una parte, sólo plantean hipótesis-direcciones que son fáciles de satisfacer y, por la otra, suelen llevar a resultados que son lógicamente imposibles. En cambio, los modelos lógicos, que son cuantitativamente precisos y que no predicen absurdos, pueden ser construidos de la siguiente forma. En primer lugar, se debe "eliminar lo imposible", es decir, desechar las relaciones funcionales entre variables que no sean conceptualmente posibles. En segundo lugar, se debe optar por la relación funcional más sencilla que cumpla con estas condiciones y verificar si se ajunta a los datos observados.

Basándose en los dos principios anteriormente expuestos, Taagepera desarrolla un primer modelo lógico en el capítulo cuarto ("Un ejemplo de la construcción de modelos: la volatilidad electoral"). En términos generales, se pretende determinar la relación que existe entre la volatilidad —entendida como el porcentaje de votantes que cambian su preferencia partidista de una elección a otra— y el número de partidos en un sistema electoral. Lo interesante de este ejercicio es que, usando sólo restricciones lógicas (techos, limitantes lógicas, puntos de anclaje), Taagepera es capaz de plantear un modelo que coincide en gran medida con estudios empíricos previamente publicados. Y son sólo eso: el modelo lógico de Taagepera presenta ecuaciones aún más simples y que tienen la ventaja de no violentar los límites lógicos entre variables.

Éste resulta por demás útil para las ciencias sociales, pues permite una transformación lineal,⁴ pero también señala que es preocupante el hecho de que los científicos sociales ignoren por completo el uso de este formato.

La segunda diferencia que Taagepera encuentra entre las ecuaciones de la física y las correspondientes a las ciencias sociales está relacionada con dos propiedades: transitividad y reversibilidad. En las ciencias naturales las ecuaciones se expresan en términos algebraicos, por lo que son reversibles. Esto es y para seguir con el ejemplo de la ley de la gravitación universal, si F = GMm / r², entonces G = Fr² / Mm, como también m = Fr² / Gm. En contraste, las ecuaciones en ciencias sociales son unidireccionales, lo cual implica que no es lo mismo hacer una regresión de la forma y = x, que una en la que se intercambie de lugar la variable dependiente e independiente: x = y.

Una última diferencia está en la forma en que las variables de entrada (o variables independientes) impactan la variable de salida (o variable dependiente). Taagepera nota que las ecuaciones que se usan en la física raramente tienen más de tres variables de entrada, pero que relaciones más complejas se van construyendo por partes, siguiendo una secuencia encadenada. Por ejemplo, dos variables, x₁ y x₂, se combinan para formar una tercera, x₃ (x₁ → x₃← x₂). Posteriormente, x₃ se combina con otra variable, x₄, para formar una quinta, x₅ (x₃ → x₅← x₄). Y así sucesivamente, hasta que las últimas variables de la cadena se conjugan para formar la variable de salida y (x₅ → y ← x₆). En un claro contraste, la regresión múltiple asume que todas las variables de entrada (x₁, x₂, x₃, x₄ x₅ x₆) afectan simultáneamente a la variable de salida (y).

El capítulo sexto ("No todas las hipótesis se crean igual") continúa presentado las diferencias entre ciencias sociales y naturales, ahora en lo concerniente al tipo de hipótesis que cada una presenta, así como el procedimiento que se sigue para comprobarlas o rechazarlas. En ciencias sociales, las hipótesis se limitan a rechazar que el efecto de una variable en otra sea puramente aleatorio (dyl dx ≠0), o, en el mejor de los casos, que hay un impacto positivo (dyl dx > 0) o negativo (dyl dx < 0). El procedimiento para probar estas hipótesis se limita a: 1) establecer la hipótesis direccional, 2) recopilar datos, 3) probarla con métodos estadísticos y 4) analizar el signo y significancia de los coeficientes, con lo cual se acepta o rechaza. Taagepera argumenta que no sólo estos resultados de esta aproximación son limitados, sino que además suelen ser interpretados erróneamente.⁵ Las hipótesis en ciencias naturales, en cambio, buscan determinar la relación funcional que existe entre las variables: y = f(x). El procedimiento para lograr esto es más complicado y, más que una serie de pasos finitos, se trata de una espiral que sigue la siguiente forma: 1) intuición inicial (hipótesis cualitativa), 2) recopilación (limitada) de datos, 3) prueba preliminar, 4) modelo cuantitativamente predictivo (hipótesis cuantitativa), 5) recopilación (adicional) de datos, 6) prueba, 7) modelo mejorado, 8) prueba, 9) mejorar el modelo o los datos, 10) prueba...

En el capítulo siete ("Por qué la mayor parte de los números publicados en ciencias sociales nacen muertos"), Taagepera critica un último aspecto de los métodos cuantitativos que predominan en las ciencias sociales: el tipo de resultados publicados. Argumenta que mientras los números que se publican en física sirven de base para futuras investigaciones, los correspondientes a las ciencias sociales, una vez impresos, difícilmente son usados con posterioridad. Esta diferencia radica, según Taagepera, en que los datos que genera actualmente los ciencias sociales son producto de uso de métodos econométricos que, paradójicamente, suelen arrojar resultados contradictorios dependiendo de las variables que se incluyen y el método estadístico usado.

La segunda sección del libro ("Los modelos lógicos y cuantitativamente predictivos") va del capítulo ocho al trece. En ellos se pasa de la crítica a la propuesta. Taagepera explica con detalle el proceso para construir modelos lógicos y ofrece ejemplos de aplicaciones concretas. El capítulo ocho ("Áreas prohibidas y puntos de anclaje") se dedica a desarrollar una idea antes apuntada: tomando como partida las restricciones lógicas para cada variable, se debe usar la forma funcional más sencilla que cumpla con estas condiciones.

Precisamente, en este capítulo se muestran cuáles son las funciones más sencillas que pueden emplearse, dependiendo de los valores que lógicamente pueden tomar las variables de entrada y salida.

El contenido del capítulo nueve ("Medias geométricas y distribuciones log normales") también es fundamentalmente matemático y ahí se explica que tipo de medias y distribuciones han de emplearse, dependiendo del tipo de datos. Se enfatiza cuán problemático puede ser el pensar que, ante la ausencia de otros factores causales, los fenómenos sociales tendrán siempre una distribución normal. Las recomendaciones de Taagepera son claras y ayudan a evitar algunos errores que, aunque aparentemente básicos, se comenten con frecuencia en los trabajos cuantitativos de ciencias sociales.⁶

Aunque el modelo anteriormente expuesto es parsimonioso y sigue un formato multiplicativo —dos de las características que se atribuyen a las ecuaciones en ciencias naturales— el propio Taagepera reconoce que el tipo de patrón encontrado es, en realidad,"inusual para la física", pues "en vez de tener una red creciente de ecuaciones, o una cadena que introduce una constante o una variable en cada paso, una larga cadena se extiende del producto de asientos (MS) a la duración media del gabinete (C)" (p. 135)- Esto lo lleva a matizar su afirmación inicial y señala que, más que una prueba contundente de la existencia de redes encadenadas de ecuaciones en las ciencias sociales, el anterior ejemplo sólo prueba la posibilidad de su existencia.

Un problema similar se presenta en el capítulo once ("Más allá de los modelos basados en limitantes: canales de comunicación y tasas de crecimiento"), pues lo que ahí se expone son meras intuiciones metodológicas y no los "modelos suficientemente probados" que se prometían al principio del libro. En este capítulo se exponen brevemente algunos métodos alternativos para construir modelos lógicos que no necesariamente se basan en restricciones conceptuales, techos y puntos de anclaje. En términos generales, son aproximaciones que buscan minimizar o maximizar funciones y que —al menos en este apartado— usan ejemplos que van más allá de los sistemas electorales.

Los dos capítulos siguientes se apartan del objetivo explícito de la segunda sección del libro (construir modelos lógicos y cuantitativamente predictivos) y se limitan a presentar algunas recomendaciones relacionadas con el uso de métodos estadísticos y la selección de medidas conceptuales. En el capítulo doce ("Por qué debemos usar la regresión simétrica") se argumenta que la regresión típica (mínimos cuadrados ordinarios) no es transitiva ni reversible, por lo que resulta inadecuada para probar los modelos lógicos.⁸ Por tanto, presenta el desarrollo preliminar de una regresión simétrica que, aunque aumenta la complejidad matemática de las estimaciones, produce resultados en los que la regresión de y en x es equivalente a la de x en y.⁹

En el capítulo trece ("No todos los índices son iguales"), Taagepera realiza dos recomendaciones relacionadas con la medición de conceptos en ciencias sociales. La primera es por demás cuestionable y muestra un pragmatismo casi irreflexivo. Se argumenta que cuando existen indicadores competitivos para medir un mismo fenómeno, se debe emplear aquel que se adapte mejor a las predicciones sustentadas en modelos lógicos. Estas medidas de los conceptos subyacentes, continúa el argumento, no necesitan ser más "verdaderas" en términos filosóficos... simplemente son más útiles. A diferencia de la primera, la segunda recomendación es más bien sensata. Taagepera recuerda que, en cualquier ecuación, no sólo se deben balancear las cantidades sino también las unidades, para lo cual conviene emplear el análisis dimensional.

La sección tres del libro ("Síntesis de las aproximaciones predictiva y descriptiva") comprende los últimos cinco capítulos y es, sin duda, la menos articulada e interesante. El contenido de los capítulos suele ser repetitivo y, en ocasiones, la argumentación no es del todo clara. Gran parte del capítulo catorce ("Del enfoque descriptivo al predictivo") repite los argumentos presentados en el capítulo sexto, sobre las diferencias entre el método descriptivo y el predictivo. A lo sumo, resulta interesante la crítica que Taagepera hace a quienes buscan teorías holísticas en ciencias sociales. Argumenta que una teoría unificadora presupone una base firmemente establecida de teorías parciales, cosa que no sucede en las ciencias sociales. Por tanto, argumenta que es necesario trabajar en teorías parciales, que sean capaces de encontrar relaciones estables, aunque modestas, entre variables sociales.

El capítulo quince ("Recomendaciones para hacer mejores regresiones") aporta poco y se limitar a exponer una serie de sugerencias para mejorar la presentación de datos cuantitativos. Entre éstas, se encuentra graficar los datos para ver si la regresión lineal hace sentido desde un punto de vista estadístico y trazar las áreas conceptualmente permitidas, así como los puntos de anclaje, para estar seguros que las regresiones son sensatas desde un punto de vista sustantivo. También se recomienda, cuando se usen regresiones lineales, reportar no sólo los coeficientes e intercepto, sino los rangos, valores promedio y medianas de todas las variables de entrada. Asimismo, señala que es mejor reportar el valor completo de p (que da la significancia estadística) y evitar el síndrome de los asteriscos (*, **, ***).

El capítulo dieciséis ("Convirtiendo los análisis descriptivos en modelos predictivos") probablemente sea el más sugerente de la tercera parte del libro. En éste, Taagepera argumenta que los resultados de los análisis estadísticos existentes, en ocasiones, pueden ser usados para estimar los parámetros de los modelos lógicos y cuantitativamente predictivos. Aunque este trabajo suele implicar una mayor sofisticación en las matemáticas a emplear, la propuesta es por demás relevante, pues tiene el potencial de ampliar significativamente el valor del trabajo previamente publicado en ciencias sociales. Taagepera muestra que la propuesta es factible y desarrolla un ejemplo —de sistemas electorales, nuevamente— para estimar un modelo que predice el porcentaje de votos que obtiene el partido en el gobierno con base en variables económicas e institucionales.

Conforme se acerca el final del libro, el lector bien podría preguntarse si los argumentos desarrollados por Taagepera efectivamente aplican a las ciencias sociales en su conjunto, pues prácticamente todos los ejemplos que proporciona provienen de la ciencia política, en general, y de los estudios de sistemas electorales, en particular. En el capítulo 17 ("¿Son los estudios electorales una piedra de Rossetta para descifrar partes de las ciencias sociales?") Taagepera matiza, aún más, el alcance de su argumento y anticipa algunas de las críticas más evidentes a su metodología. En primer lugar, señala que no es claro que lo desarrollado para los sistemas electorales sea o no aplicable para el resto de las ciencias sociales. Argumenta que tan es posible lo uno como lo otro. No obstante, intenta una salida lateral y plantea que las ciencias sociales podrían hacerse más científicas gracias al desarrollo de "una ciencia cognitiva plenamente desarrollada (la psicología)" que "podría, eventualmente, dar el un fundamento más sólido a la antropología, a la sociología, a la economía y aun a la historia" (p. 226). Los problemas con este planteamiento son más que evidentes: primero, el argumento inicial del libro es que las ciencias sociales podrían ser más científicas si emulaban a las ciencias naturales (y no si la psicología logra desarrollarse más); segundo, el trabajo de Taagepera no aporta ningún tipo de explicación o evidencia que muestre por qué la psicología podría ser la base de una ciencia social más científica.

Finalmente, Taagepera termina por reconocer que toda la evidencia del libro es, en el mejor de los casos, parcial, y que los resultados ahí presentados no permiten afirmar, como lo hace al principio del texto, que es posible usar modelos lógicos y cuantitativamente predictivos en las ciencias sociales. Señala que la pregunta relevante no es "si las ciencias sociales pueden, eventualmente, alcanzar la precisión predictiva de las ciencias naturales" pues "lo que importa es que algunos aspectos de las ciencias sociales pueden hacerse más predictivos y, en algún sentido, más parecidas a las ciencias naturales [cursivas en el original]" (p. 225). Al final, no le queda sino reconocer que "queda por demosatrarse si las ciencias sociales eventualmente pueden igualar a las ciencias naturales en cuanto a teorías predictivas" (p. 229).

Sin embargo, la apuesta de Taagepera hacia los modelos predictivos puede ser descartada, no por una falta de detalle como él mismo sugiere, sino por una falta de sustancia. Making Social Sciences More Scientific: The Need for Predictive Models no sólo fracasa cuando generaliza sus argumentos a la totalidad de las ciencias sociales, pero utiliza, casi exclusivamente, ejemplos provenientes de la ciencia política, en general, y de sistemas electorales, en particular. El mayor problema de planteamiento de Taagepera es que no es capaz de demostrar, con un solo ejemplo contundente, que en ciencias sociales haya relaciones entre variables como las que existen en las ciencias naturales. Así, la idea de los modelos predictivos como herramienta necesaria para hacer que las ciencias sociales sean más científicas queda, finalmente, sólo como una corazonada; como algo que, de ser demostrado, bien podría abrir una nueva veta en el estudio de la política y la sociedad. Por desgracia, el libro de Taagepera está lejos de lograrlo.

REFERENCIAS BIBLIOGRÁFICAS

Colomer, Josep M., "What other sciences look like", European Political Science 6, núm. 2, 2007, pp. 134-142.         [ Links ]

Shugart, Matthew S. y Taagepera, Rein, Seats and Votes: The Effects and Determinants of Electoral Systems, Yale University Press, New Haven, 1989.         [ Links ]

Taagepera, Rein, Making Social Sciences More Scientific: The Need for Predictive Models, Oxford University Press, Nueva York, 2008.         [ Links ]

----------, Predicting Party Sizes: The Logic of Simple Electoral Systems, Oxford University Press, Nueva York, 2007.         [ Links ]

NOTAS

¹ Una de sus obras más emblemáticas sobre sistemas electorales es Seats and Votes: The Effects and Determinants of Electoral Systems, publicada en 1989 en coautoría con Matthew S. Shugart.

² La fórmula es F = GMm / r²

³ Véase el artículo de Josep M. Colomer. "What other sciences look like", European Political Science, 6, núm. 2, 2007, pp. 134-142, especialmente la Tabla 1.

⁴ La transformación se obtiene al tomar los logaritmos de ambos lados de la ecuación: log y = log a + Σ b_i log x_i

⁵ Taagepera recuerda que los científicos sociales suelen pensar que una variable que se reporta significativa al "99%" (p < 0.01) o al "95%" (p < 0.05) implica que, de repetirse 100 veces el procedimiento, sólo en uno o cinco casos, respectivamente, se tendrán resultados diferentes. Esto no es del todo cierto. Lo anterior aplicaría si y sólo si se estuviera seguro de que el modelo aplicado es el "verdadero". Esto es, si se tuviera la certeza de que el proceso que intentamos describir efectivamente tiene la forma funcional que presuponen las regresiones múltiples: y = a + Σ b_i x_i

⁷ Rein Taagepera, Predicting Party Sizes: The Logic of Simple Electoral Systems, Oxford University Press, Nueva York, 2007.

⁸ En esta sección Taagepera recuerda que un aspecto esencial de la creación de modelos lógicos es que los diferentes modelos forman una red encadenada de ecuaciones algebraicas. Estas ecuaciones algebraicas son reversibles, lo que implica que (x → y) = (y → x), y transitivas, que significa que (x → y → z) = (x → z). Ambas propiedades están ausentes en las regresiones típicas, en donde los parámetros estimados ni son reversibles, (x → y) ≠ (y → x), ni transitivos, (x → y → z) ≠ (x → z).

⁹ El desarrollo matemático de la regresión simétrica es relativamente complejo, especialmente para el caso de la regresión múltiple, y se encuentra en las páginas 173-175.