Gobierno populista y rendición de cuentas

El funcionamiento de la democracia representativa (DR) descansa en una dualidad. El pueblo, el electorado o los ciudadanos no toman decisiones sobre los asuntos públicos de forma directa (^{Manin, 1998: 200}), no obstante, pueden exigir cuentas a los representantes electos por las decisiones tomadas. Esta dualidad se asienta en dos premisas. Por un lado, la representación política es un proceso en el que se verifica que las decisiones de los gobernantes y representantes tienen cierta relación con lo que desean los individuos; por otro, el ejercicio de gobierno implica la posibilidad de coerción. Así, en una DR no sólo existe la posibilidad de que los representantes/gobernantes no cumplan con los deseos del electorado, sino también hay lugar para un potencial riesgo de abuso e intromisión (^{Manin, 1998: 206}) sobre los derechos de los ciudadanos. Esta dualidad es el núcleo del problema o el hándicap -si se nos permite la expresión- de la democracia liberal representativa, pero también constituye el aliciente para construir una red de instituciones representativas que vinculen, por un lado, las decisiones de quienes gobiernan con las preferencias políticas de los gobernados (^{Manin, 1998: 201}), por otro, evitar, o al menos minimizar, los abusos del poder y proteger la libertad de los ciudadanos. En este sentido, cualquier esfuerzo de diseño institucional en términos de RC tiene que cumplir un doble afán: impedir que los gobiernos abusen de su poder sin que esto signifique o conlleve a una parálisis que les impida hacer lo que deben hacer (^{Przeworski, 2010: 203}). La RC, como red institucional, no sólo tiene que asegurar que los políticos se vuelvan “responsables” de sus decisiones frente al electorado sino que, como esquema de control, tiene que contener los abusos de poder por un lado y asegurar el cumplimiento del mandato, por otro.

La contención al poder tiene una larga historia en el desarrollo de la teoría democrática (^{Rosanvallon, 2009}; ^{Rosanvallon, 2007}; ^{O’Donnell, 2006}) la postuló así: en un sentido, los electores desean que las decisiones socialmente vinculantes sean tomadas con celeridad e implementadas con efectividad y eficiencia, y sin embargo, en otro sentido, los ciudadanos quieren asegurarse que existan suficientes controles sobre los decisores y protegerse así de posibles abusos y de las consecuencias nocivas para los intereses o identidad tanto de individuos como de grupos específicos. La RC, en tanto red institucional de la DR, está comprometida con el pluralismo, pero anclada en la desconfianza hacia el poder. El compromiso con el pluralismo se traduce en una imparcial equidistancia con cualquier doctrina comprensiva o concepción unívoca de bien común, condición elemental para que cualquier grupo o individuo se haga escuchar en alguna etapa del proceso de toma de decisiones (^{Dahl, 1956: 150}). La desconfianza hacia el poder político se basa en la idea de que la separación estricta de poderes (^{Montesquieu, 1995}; ^{Przeworski, 2010: 207}) resulta algo inevitable en la DR. Así, el sistema de frenos y contrapesos no sólo permite un control recíproco entre poderes, también impide la restricción y vulneración de los derechos civiles. En esta línea ^{O’Donnell (2006: 27)} distingue entre accountability horizontal de balance y accountability horizontal asignada. La primera, articula la interacción del poder ejecutivo, legislativo y judicial; la segunda, consiste en el accionar de múltiples agencias (auditorías, ombudsmans, contralorías, fiscalías, entre otras) encargadas de supervisar, prevenir o sancionar acciones u omisiones ilegales de otras agencias estatales. Así, el trabajo de “terceros observantes” (^{Rosanvallon, 2009}; ^{Rosanvallon, 2007}) y la accountability legal (^{Peruzzotti-Smulovitz, 2002}) fortalece la consolidación de la RC. Sin embargo, no hay que descuidar la función central de la accountability política en las DR, que no es otra más que la capacidad de los ciudadanos, por medio de las elecciones, de hacer que las políticas gubernamentales respondan a sus preferencias (^{Peruzzotti-Smulovitz, 2002: 26-27}).

Retomemos ahora el análisis de la RC como esquema de control, es decir, como cumplimento del mandato. Si bien la DR no puede asegurar que los gobernantes hagan lo que los ciudadanos creen que “deberían hacer”, a largo plazo el funcionamiento y supervivencia de la democracia representativa moderna descansa en gran medida en la capacidad y medios que tienen los ciudadanos de inducir al gobierno para que realice lo que ellos desean (^{Dahl, 1989: 95};). Así, desde esta perspectiva, la RC (política) permite verificar el grado de reciprocidad (responsiveness) que existe entre las decisiones políticas y los deseos de los ciudadanos (^{Powell, 2007: 97}). La celebración periódica de elecciones no sólo permite que los ciudadanos evalúen retrospectivamente el desempeño del gobierno, también posibilita que los ciudadanos formulen y manifiesten públicamente sus preferencias (^{Dahl, 1993}). El proceso electoral, y el espacio de libertad de opinión pública (^{Manin, 1998}) que lo rodea, permite que los políticos capten cualquier mínima señal que haya en su entorno político (^{Mackuen, Erikson y Stimson, 1992: 559}) e incorporen los temas de agenda pública (^{Maravall, 2003: 16}), creando, en definitiva, conexiones entre los ciudadanos y elaboradores de políticas (^{Powell, 2007: 98}).

Sin embargo, si bien las elecciones pueden funcionar como mecanismos efectivos de evaluación retrospectiva, castigando con la no reelección a un candidato o partido que no cumpla lo prometido, la elección de un nuevo gobernante o representante no asegura necesariamente la adopción de una determinada política. La RC en la DR no puede asegurar que la contención al poder y el cumplimiento del mandato sucedan de manera simultánea. La contención al poder, ya sea a través de una división de poderes estricta o de un sistema de frenos y contrapesos, está pensada para impedir que se hagan cosas malas, pero no puede asegurar que se hagan solamente las cosas buenas. Contener al poder impide el cumplimiento de un mandato determinado, puesto que el diseño institucional de la RC no está estructurado para satisfacer únicamente los deseos y preferencias de la mayoría. La única situación donde la DR puede satisfacer ambos asuntos de manera simultánea es cuando todos los poderes del gobierno estén de acuerdo en lo que debe hacerse (^{Przeworski, 2010: 202}), situación altamente improbable en una democracia pluralista. Esta cuestión coloca al cumplimiento del mandato en el centro de la disputa entre los defensores de la RC como eje articulador de la DR y los impulsores del modelo populista de representación.

El carácter periódico de las elecciones, desde la perspectiva de la RC horizontal, no es garantía suficiente de cumplimiento del mandato. Un gobierno que no está controlado entre elecciones, puede ocultar y/o diseminar información ad hoc e inducir, así, a que los ciudadanos se comporten de acuerdo con la visión del mundo que los gobernantes tienen (^{Martínez I Coma, 2008: 8}). La premisa que subyace en la anterior afirmación es que el cumplimiento del mandato puede ser una mera apariencia que refleje únicamente la influencia que han tenido los políticos en los votantes a través de un manejo estratégico de la información. En palabras de ^{Riker (1986: 9)} el ganador de una elección es aquel que “ha podido configurar la situación de tal forma que otras personas querrán unirse a ellos, incluso sin persuasión. Esto es en lo que consiste la herestética: estructurar el mundo de forma que se pueda ganar”. De esta forma, la implementación de una estructura de RC horizontal confronta directamente el argumento de que la gente vota sobre la base de buenas razones y que la gente realmente participa sobre la base de un debate libre, igualitario y fundamentado (^{Przeworski, 2001: 185}). La RC horizontal asume, por tanto, que existen asimetrías de información y diferencias en las capacidades cognitivas-epistémicas que tienen los ciudadanos (^{Przeworski, 2001: 189}). En este tenor, para ^{Fearon (1999)} el elector presenta variaciones en sus capacidades de monitorear y observar la política implementada por el gobernante y esta variación incide directamente en la percepción que el elector tiene del desempeño gubernamental.

Para los defensores de la RC horizontal el cumplimiento del mandato entraña riesgos si su control se deja únicamente a las elecciones. La RC electoral presenta deficiencias, señala ^{O’Donnell (2006: 29)}, dado que los ciudadanos no pueden centrarse únicamente en un solo instrumento para controlar miles de decisiones que toman los gobiernos y que afectan directamente su bienestar. Desde esta perspectiva, la representación política es vista como una relación de agencia, en donde las distintas modalidades de RC horizontal configuran un andamiaje institucional destinado a reducir la brecha de información entre el agente (representantes) y el principal (representados). De esta manera, la posibilidad de juzgar retrospectiva y prospectivamente el cumplimiento del mandato del gobierno en turno, así como también las nuevas ofertas de gobierno, descansa en que a) las acciones del representante y las condiciones bajo las cuales opera se conozcan públicamente, b) que las relaciones entre representantes y representados sean lo más simétricas que sea posible y c) sobre todo que al agente le represente un costo no llevar a cabo las preferencias del principal (^{Sappington, 1991}).

La existencia de la RC horizontal compensa la potencial ausencia de reciprocidad. Dado que en la DR no recae sobre los representantes una obligación legal para que satisfagan los deseos del electorado, la RC horizontal ofrece un amplio abanico de herramientas para lidiar con la ausencia del derecho a dar instrucciones (^{Manin, 1998}). Así, la red institucional de RC provee información a la opinión pública acerca del grado efectivo del cumplimiento del mandato que previamente se estableció en las urnas y con ello compensa cualquier estrategia herestética que busque que los individuos incorporen creencias falsas, minimizando, así, el riesgo de que se produzca una suerte de dominación ideológica (^{Przeworski, 2001}). Desde este ángulo, el cumplimiento del mandato ya no resulta indispensable. La RC parte de la idea de que las preferencias ciudadanas pueden cambiar y que los gobiernos están sujetos a contingencias diversas, por lo que el objetivo primordial consiste en fiscalizar si el representante ha respetado las reglas, si su comportamiento ha sido honesto, si ha dicho la verdad, si ha dado información cuando se necesitaba o si ha actuado de buena fe. En suma, el control democrático depende de la información que los ciudadanos posean para hacer una valoración del desempeño gubernamental. Las distintas agencias de RC permiten atribuir responsabilidades y con ello castigar o premiar a los políticos (^{Maravall, 2003: 21}).

Para los defensores del populismo, la representación, y por tanto, el mandato, deben tener sus cimientos en la voluntad popular. Esto implica no sólo que la acción de los representantes debe estar cimentada en sus constituyentes populares, sino que el concepto mismo de representación tiene que garantizar la confluencia de la voluntad del pueblo con el poder (^{Hardt y Negri, 2017: 16}). En este sentido se requiere que “la democracia debe ser lo más transparente posible: el representante debe transmitir lo más fielmente posible la voluntad de aquello a quienes representa” (^{Laclau, 2011: 200}). Para que esto sea posible, el modelo de representación populista articula una estrategia discursiva en donde la heterogeneidad de las demandas, propiedad consustancial de una sociedad plural, desaparece bajo una lógica equivalencial en donde aquéllas son tratadas como un todo. Así, cada demanda tiene la misma solución, todos los problemas tienen la misma respuesta: la corrupción, la pobreza, el gasto excesivo de los recursos públicos y así. La articulación equivalencial de las demandas es pieza clave para, por un lado, recuperar la voluntad popular como faro orientador de la acción de los representantes, por otro, la constitución del pueblo como actor histórico (^{Laclau, 2011: 99}). La reducción al mínimo de la heterogeneidad del conflicto social se entrelaza en una relación directa entre el representante ahora convertido en líder que actuará en beneficio de un mandato que él mismo ha interpretado y resignificado. Con ello, el populismo resignifica la reciprocidad democrática estableciendo una distinción tajante entre un pueblo bueno y mayoritario frente a una oligarquía, o como dice ^{Urbinati (2020)} frente a un ancien régime o establishment contrario a los intereses populares.

El populismo con el afán de cumplir un mandato requiere, al gobernar, socavar sistemáticamente las intermediaciones que impiden la relación directa entre los que se consideran personas correctas-buenas y el líder (^{Urbinati, 2020: 22}). A diferencia del supuesto, del cual parte la DR, de que hay que proteger a las mayorías incluso de sí mismas, el modelo populista de representación se aboca a eliminar los obstáculos que impiden la ejecución de un mandato que es objeto de resignificación continua. El populismo es así la interpretación del pueblo y de la mayoría que necesita, también de la ejecución, en palabras de ^{Urbinati (2020)}, de una política de la parcialidad que termina desfigurando el Estado de Derecho (^{Urbinati, 2014}), la división de poderes y cualquier articulación concreta de RC. El interés último que persigue el populismo en el gobierno es una revisión y reestructuración de los fundamentos de la democracia constitucional de la mano de la capacidad que el pueblo tenga de unirse en una comunidad y legislar para reforzar su interés común (^{Mudde y Rovira, 2019: 48}).

La búsqueda del bien común unívocamente determinado descansa en la capacidad del populismo de resaltar y exacerbar la contradicción entre igualdad política y desigualdad económica en el seno de la DR. El llamado de los líderes populistas a cuestionar la base económica del consenso democrático rinde frutos en la medida en que las demandas sociales que deberían ser satisfechas acorde a un modelo diferencial e institucionalizado no encuentran respuesta. En ese contexto el líder populista encarna la voz de las quejas y los agravios populares siempre de la mano de la estrategia del antagonismo, prometiendo redención y con ello el cumplimiento efectivo del mandato (^{Panizza, 2013}). Ante este escenario, ^{Laclau (2011)} nos dice que la frustración generalizada desencadena lógicas sociales de distinta índole. Una de ellas -quizá la principal- es exhortar a los sectores de bajos ingresos a abandonar la autolimitación en materia de exigencia redistributiva. El exhorto cae en tierra fértil cuando los medios tradicionales que han amortiguado la tensión entre democracia y capitalismo (^{Velasco, 2006}) han perdido vigencia. Los partidos políticos, otrora efectivos mecanismos de agregación de preferencias, con su paulatina cartelización (^{Mair, 2015}) son el foco predilecto de los ataques populistas.

El populismo ofrece una ofensiva general contra la DR cuyo embate contra los distintos mecanismos de RC resulta dual. Por un lado, el populismo acusa a la red institucional de RC de obstaculizar el cumplimiento de las promesas en general y de impedir la labor distributiva en lo particular, por otro lado, resaltan la supuesta complicidad que tienen esas instituciones con la oligarquía o el establishment. El populismo no sólo socava el principio pluralista que legitima la RC y fundamenta su funcionamiento, también transforma su sentido. Es en la relación entre el “pueblo bueno” y el líder donde se construye el contenido del mandato, pero también desaparece el asunto de la contención al poder y con ello la necesidad de RC. El constructo retórico sobre la pertenencia al pueblo bueno conlleva, para el gobierno populista, la realización de una praxis que asegure, tanto desde la policy como desde la politics, que el cumplimiento del mandato se apegue a una lógica equivalencial. Así, el gobierno populista subsume cualquier diversificación de demandas a un solo eje antagónico. Contrario a lo que sucede en la DR, el afán populista por el cumplimiento del mandato no sólo se da sobre la base del desconocimiento explícito de la pluralidad, sino también bajo el acatamiento a un solo principio o eje rector, que demanda, entre otras cosas, homogeneidad y/o pertenencia comunitaria. Así, el ejercicio de la coacción se asoma, en los gobiernos populista, como una posibilidad condicionada por la adhesión a un ethos, aunque esto signifique, precisamente, ausencia de transparencia, RC y, lo más importante, una limitación al ejercicio de las libertades individuales.

Algoritmocracia

La RC es el espacio en donde se produce la argumentación, donde se solicitan y brindan las explicaciones, donde se producen las evaluaciones y se realizan los juicios (políticos). La red institucional de la RC hace que la DR no se constituya sólo como un espacio de persuasión, sino de explicación, argumentación, también de comprensión. Comprender, desde la perspectiva ciudadana, las decisiones públicas es parte fundante de la RC. En las democracias se requiere además de transparencia, legibilidad sobre los actos de gobierno (^{Rosanvallon, 2015}). La comprensión está asociada con la evaluación y juicio sobre las acciones políticas, pero fundamentalmente con la posibilidad de argumentar, solicitar y brindar explicaciones. Comprender implica disponer de herramientas cognitivas, también la capacidad institucional para recrear los eventos que constituyen la realidad intersubjetivamente compartida del diálogo público. Esta comprensión es fundamental para la RC, no porque su reverso lo constituya la falta de transparencia y la secrecía, sino porque en las situaciones en donde resulta imposible entender y recrear públicamente las decisiones autoritativas no resulta posible, tampoco, establecer un funcionamiento adecuado para la RC. Así, tomando en cuenta que la dimensión comprensiva es vital para el funcionamiento de la RC, resulta necesario preguntar: ¿afecta el uso de los sistemas de inteligencia artificial (SIA) a la RC? ¿De qué forma?

Hace casi dos décadas ^{Mitchell (2003)} ponía en discusión la creciente imbricación entre el ambiente real (meatspace) y los entornos virtuales (cyberspace). Hoy, los actuales SIA conforman un entramado complejo, eficaz, invisible y ubicuo de tecnologías que estructuran nuestra forma de vivir e interactuar (^{Solove, 2004}). Los SIA han logrado que este nuevo hábitat se haya vuelto, como lo describe (^{Susskind, 2018}) más penetrante, conectado, sensitivo e inmersivo, además de generar cambios descomunales en los saberes y prácticas profesionales (^{Susskind y Susskind, 2015}). Si hace unos años ^{Greengard (2015)} nos hacía ver que un teléfono inteligente promedio tenía más poder de procesamiento que la computadora que asistió al alunizaje, hoy el foco de atención está puesto en la simbiosis entre los humanos y los SIA (^{Greenfield, 2017}; ^{Lomborg, Thylstrup y Schwartz, 2018}).

El (nuevo) “mundo algorítmico” (^{Kemper y Kolkman, 2019}) no sólo ha modificado los modelos de negocios y las formas de interacción social, también ha echado más luz sobre el reciente fenómeno de los autoritarismos gamificados (China y Rusia). Sin embargo, no hay que ignorar que los SIA generan cambios en el régimen de gobierno democrático. Para ir entrando en tema podemos afirmar que los algoritmos, como estructura central de los SIA, son “procedimientos y reglas” que siguen humanos y artefactos inteligentes (^{Alpaydin, 2016}; ^{Dourish, 2016}; ^{Lee, 2018}; ^{Janssen y Kuk, 2016}) y pueden, además, ser asimilados como representaciones del mundo.

En este sentido, los algoritmos pueden ser entendidos como simplificaciones dentro de un conjunto de posibles acciones (^{Bogost, 2015}) que condicionan las conductas en diferentes ámbitos (^{Frischmann y Selinger, 2018}). Como el ámbito que nos interesa destacar es el relacionado con las decisiones autoritativas afirmamos que los algoritmos incrementan el paisaje de las políticas públicas. Esto no sucede sólo por lo obvio, porque ahora además de los actores políticos y policy-makers están los algoritmos (^{Just y Latzer, 2017}), sino porque los SIA permiten encontrar nuevos patrones no pensados para la intervención pública y tiene, supletoriamente, la capacidad de crear nuevos objetivos y metas para las políticas (^{Perel y Elkin-Koren, 2017}). Para poner las cosas en perspectiva, en 2017, 90 % de los datos habían sido generados durante los dos últimos años mediante un tráfico de 2.5 quintillones de bytes diarios. El Estado no quiere dejar de pegarle un tarascón a ese mundo de datos, porque, entre otras cosas, sabe que el empleo de big data le permite acceder de manera novedosa (mediante técnicas granulares) a viejos problemas públicos (^{Mayer-Schönberger y Cukier, 2017}). Además, los gobiernos pueden, a través de los SIA, visualizar lo que antes ni siquiera se podía reconocer, lo que redunda en una (nueva) capacidad de experimentación con diferentes modelos de resoluciones alternativas (^{Beer, 2018}).

El avance e incorporación de los SIA al interior del Estado y su creciente utilización en los regímenes democráticos ha sido etiquetado de diversas formas, entre las más difundidas se destacan las siguientes: gobernanza (pública y privada) de datos, regulación algorítmica (^{Yeung, 2016}, ²⁰¹⁸; ^{Yeung y Lodge, 2019}), “gobernanza anticipatoria” como parte de la gubernamentalidad algorítmica (^{Rouvroy y Berns, 2013}) y, más recientemente, como algoritmocracia (^{Danaher, 2016}, ²⁰²⁰). Sin embargo, más allá de las denominaciones lo relevante parece ser que los SIA tienen la capacidad de fabricar sentido (^{Deuze, 2012}) dado que nos permiten experimentar e intervenir en el mundo de manera ubicua y en tiempo real (^{Howard, 2015}). Estos cambios indican que el asunto medular, desde la perspectiva del analista de los regímenes democráticos, consiste en comprender cómo se están integrando los SIA con la ley y con la agencia (ciudadanos y sujetos de derecho) tal y como ha sido definida hasta ahora (^{Kalpokas, 2019}). En resumen, los códigos y su arquitectura regulan, entre otras cosas, accesos, asignan cargas, evalúan acciones, ranquean atributos, jerarquizan dimensiones, establecen prioridades, produciendo, así, efectos tanto en la esfera pública como en la interacción de ésta con la privada. En este sentido tres dimensiones atrapan la atención de expertos y analistas. Primera, la propiedad de los datos, los procesos de extracción y los impactos de su utilización en la esfera íntima y privada, en las conductas y la libertad individual. Segunda, la utilización de sesgos y criterios morales generan efectos adversos en la imparcialidad, la dignidad moral de las personas y acentúan las desigualdades sociales (^{Crawford, Gray y Miltner, 2014}). Tercero, los SIA se caracterizan por ser opacos y poco transparentes. Si bien las tres dimensiones generan efectos en el proceso de RC democrático, aquí nos concentramos en la última.

¿Por qué los SIA son opacos y poco transparentes? Siguiendo a uno de los padres de la cibernética, Ross Ashby en An Introduction to Cybernetics de 1956, resulta posible afirmar que los algoritmos no son cosas u objetos, son acciones. Por tanto, su identidad está en lo que hacen, no en lo que son. El intento de reducir los algoritmos, en tanto artefacto de lógica matemática (si.... entonces), a un software (una entidad intangible acotada) resulta una estrategia incorrecta (^{Bucher, 2018}). Aun considerando que los algoritmos estén imbuidos en el software, resulta evidente que tienen una entidad no sólo diferente, sino separada. Los algoritmos no son cosas, tampoco es magia (^{Bucher, 2018}); aunque para muchos su funcionamiento resulte algo mágico. En este sentido resulta adecuado afirmar que un algoritmo es un modo de hacer que genera un flujo de consecuencias escalonadas por instancias de verdad. El si... entonces no sólo son las reglas y procedimientos, constituyen la arquitectura por donde circulan los datos, lo que permite validar-activar los engranajes que posibilitan transitar de un peldaño a otro. Los algoritmos generan interacciones con eventos en pleno desarrollo, incluso tienen la potencialidad de cambiarlo, como sucedió con el famoso caso de Google y su rastreador de influenza en 2011 (^{Bucher, 2018}). Los algoritmos son un procedimiento inserto en dimensiones de conocimiento y flujos de prácticas sociales (^{Gillespie, 2016}). Los algoritmos siempre están cambiando (versión y actualización) y en muchos casos tienen existencias (por decirlo de alguna manera) paralelas o duplicadas (experimentación y testeo), lo que ocasiona que sus interrelaciones (como manojo o nido de algoritmos) también tenga esa especie de entidad cambiante, sin una fijación o permanencia ontológica (^{Bucher, 2018}).

La esencia huidiza y la interacción dinámica que generan los algoritmos sobre los agentes y sus acciones puede ser entendida mejor a partir de la metáfora de “máquinas predictivas” (^{Agrawal, Gans y Goldfarb, 2019}). Los SIA son, desde el punto de vista de su eficacia, un sistema predictivo con muchas, con miles o con cientos de miles de variables dependiendo de la complejidad y naturaleza del asunto a tratar o resolver. Esto aplica para los vehículos autónomos, los servicios de ordenamiento de tráfico vehicular, para la planificación tributaria en las agencias de cobro de impuestos, para los sistemas de seguridad de compras protegidas de las tarjetas de créditos o para el sistema de almacenaje de Amazon, entre miles de ejemplos que están frente a nuestros ojos. Los SIA, con abstracción de las herramientas de inteligencia artificial utilizadas (aprendizaje automático, aprendizaje profundo, árbol bayesiano, etc.), generan unos resultados que se caracterizan por ser poco cognoscibles para usuarios, también para expertos. Aunque, pongamos de ejemplo, las tarjetas de crédito, bancos, clientes y negocios estén satisfechos con el servicio de protección que las compañías de tarjetas brindan, resulta casi imposible saber porque sucede x (bloqueo preventivo) ante la situación y (una transacción). Son tantas las variables que el SIA toma en cuenta que no resulta fácil conocer con exactitud cuáles son las razones para que suceda x en el momento y, aunque todo se justifique por el objetivo de resguardar el patrimonio de los actores involucrados, los humanos no pueden entender o comprender las razones del éxito del sistema (^{Kroll et al., 2017}). El caótico sistema de almacenamiento de Amazon, donde las afeitadoras están al lado de los neumáticos, resulta incomprensible para las limitadas capacidades cognitivas de los usuarios (^{Agrawal, Gans y Goldfarb, 2019}; ^{Wilson, 2020}; ^{Simon, 2019}). Estos, como muchos otros ejemplos a nuestro alcance, han llevado a que los expertos tracen un paralelismo entre el funcionamiento de los SIA con las “cajas negras”. Es en este sentido que la capacidad de los SIA para analizar automatizadamente los datos hace que todo el proceso sea no-interpretable a nivel del lenguaje humano (^{Zarsky, 2013}). De esta forma el concepto, al tiempo que metáfora, de la “caja negra” delimita no sólo un espacio secreto, oculto y desconocido, sino también opaco y poco transparente. La limitada capacidad cognitiva de los humanos frente a la vasta capacidad automatizada de los SIA para lidiar con miles de variables ya no sólo se traduce en ausencia de interpretación, sino en falta de transparencia. Sin embargo, el concepto de “caja negra” se basa en un axioma inicial: lo que está dentro de ella puede ser, mediante las herramientas y procesos adecuados, conocido (^{Bucher, 2018}). No obstante, una mirada más escéptica nos devuelve a un terreno más árido: ¿cómo conocer lo que desconocemos? De alguna forma el clásico Sapere aude se vuelve un asunto práctico, es decir, un problema epistemológico (^{Bucher, 2018}; ^{Galison, 2004}; ^{Kroll et al., 2017}).

¿Por qué la opacidad y la falta de transparencia de los SIA afecta a la RC democrática? En el párrafo anterior hemos visto que los SIA aprenden interactuando con los datos y con otros SIA. Su capacidad de aprender significa que pueden reprogramar sus códigos originales, lo que implica aceptar que de alguna manera están brincando sobre sus creadores originales. Lo último implica no sólo que hay un problema de responsabilidad (^{Mittelstadt, Allo, Taddeo, Wachter y Floridi, 2016}), sino también una ventana abierta para que se cuelen sesgos, parcialidades y principios morales que no estaban presentes en el diseño original (^{Andrews, 2019}; ^{Duguay, 2018}). Esto último, que no es otra cosa que la existencia fluida de SIA anidados, resulta muy importante para entender la dinámica de creación de públicos, puesto que son agregados mediante la interacción con los algoritmos (^{Carah, 2017}; ^{Ananny, 2016}; ^{Just y Latzer, 2017}). Como dicen ^{Janssen y Kuk (2016)} las decisiones de las personas son “hechas” por algoritmos, pero hay que aclarar que a través de sus acciones los algoritmos las hacen. A la opacidad y falta de transparencia (“caja negra”) se le suma también la dificultad de no poder establecer quién es responsable de qué frente a quién. ¿Dónde afecta la opacidad y la falta de transparencia de los SIA a la RC democrática? Los gobiernos democráticos enfrentan el embate de la opacidad y falta de transparencia de los SIA en dos ámbitos bien definidos. Por un lado, frente al incremento de los SIA los gobiernos comienzan a preguntar si hay que regular su producción y/o sus usos. Lo que implica resolver las siguientes preguntas: ¿qué regular? ¿Por qué regular y cómo hacerlo? Esto de alguna manera es el asunto retratado con las etiquetas de “gobernanza algorítmica” que incluye lo que sucede en la sociedad, pero también en las diferentes instituciones del Estado. Por otro lado, está el asunto de cómo el gobierno democrático incorpora los SIA en las instituciones del Estado y los utiliza como columna vertebral para la elaboración e implementación de las políticas públicas.

Esos dos ámbitos tienen, al menos, dos dimensiones específicas de RC. La primera consiste, grosso modo, en garantizar que los individuos en tanto usuarios o ciudadanos obtengan explicaciones de cómo los diferentes SIA los afectan (beneficios o pérdidas). Dicho de otro modo, cómo los usuarios y ciudadanos pueden controlar a los SIA y hacerlos responsables en los diferentes ámbitos de interacción. La segunda, se desdobla en dos aspectos. Por un lado, cómo los políticos y hacedores de políticas hacen que los SIA rindan cuentas. Por otro, cómo los políticos utilizan los SIA para rendir cuentas a los ciudadanos. Y no sólo eso, también qué tipo de SIA, con qué alcance y qué responsabilidades.

¿Cómo afecta la opacidad y la falta de transparencia a la RC democrática y qué respuestas están emergiendo? En la práctica política democrática, quizá no tanto en la historia de las ideas, se ha advertido que transparencia y RC convergen hacia un mismo asunto: la fiscalización y la auditoría pública. Entonces, ¿cómo fiscalizar y auditar los SIA? Si bien es cierto que los SIA dividen a la población en dos grupos, los hacedores de código y los usuarios (^{Janssen y Kuk, 2016}), existe la posibilidad de considerar este asunto desde una perspectiva funcional. Por un lado, están los hacedores de “códigos”, es decir, programadores de “un trozo” de código dentro de los SIA; por otro lado, esos mismos “códigos” se vuelven un objeto para otros programadores y así sucesivamente. Los roles de programador y usuario (experto) no sólo son intercambiables, sino volátiles en un ambiente ontológicamente inestable (^{Reagle, 2019}). La primera división nos reenvía, en términos de RC, al viejo problema de principal-agente, en donde el principal depende de los conocimientos y saberes del agente. En definitiva, el viejo asunto de quién custodia a los custodios remite a la segunda división propuesta, la funcional. Y aquí por la naturaleza opaca y poco transparente puede aparecer la paradoja de la “coartada del conocimiento” (^{McGoey, 2012}) que consiste en llamar a un experto para que asiente que no sabe sobre el tema consultado, reafirmando así la imposibilidad de conocer sobre el tema. Si el experto se declara incompetente no sólo aparece el asunto de quién más podría saber, sino quién podría vigilar o regular. Este asunto refuerza la idea que los códigos y algoritmos no sólo son el alma de los SIA, sino que nos conmina a tomarnos en serio su estatus de agencia al lado de ciudadanos y políticos. En este sentido, muchos expertos, activistas y gobiernos (especialmente el espacio de la Unión Europea) entienden que la mejor forma de transparentar los SIA consiste en “abrir los códigos”.

La regulación transparente -al menos la visión que se cuece en la Unión Europea- contempla que se haga efectivo el derecho a la explicación que tienen los ciudadanos frente a los SIA, esto implica algunos atributos y controles. Del lado de lo primero, la simplificación, de lo segundo, la auditoría. El Reglamento General de Protección de Datos (GDPR) de la Unión Europea busca que el “código” esté abierto a toda la sociedad lo cual trae aparejado dos asuntos que requieren suma atención. Por un lado, la vigencia de los derechos de propiedad y costos de transacción añadidos en las empresas, por otro, implica encaminar a la democracia a un debate sin tener certezas de si los usuarios van a estar dispuestos a sacar provecho de la apertura de los “códigos”. En este incipiente debate no queda claro si la estrategia de transparentar los SIA ha logrado separar el asunto de rendir cuentas del viejo mantra que vuelve una y otra vez, y que consiste en la idea de que la tecnología tiene que solucionar los problemas de injusticia. Tampoco parece que en este debate todos los interlocutores tengan en claro, como afirma Madeleine Elish (^{Matsakis, 2018}), que “la transparencia algorítmica no es un fin en sí misma”. La transparencia como categoría político-institucional se vuelve potente si la ciudadanía es capaz de responder: ¿transparente para quién? ¿Para qué? ¿Cuándo?

Entre la opacidad y falta de transparencia actual y la apertura total de los “códigos” hay lugar, seguramente, para que las democracias exploren alternativos caminos. Algunos proponen una nueva ingeniería institucional de división de poderes (^{Susskind, 2018}), pero sin dar muchas pistas al respecto. Otros, en cambio, identifican metodologías para enfrentar el asunto de la “caja negra”. Por ejemplo, la ingeniería reversa puede dar sentido a lo que desconocemos a partir de lo poco que conocemos, analizando individualmente los algoritmos como prácticas radicalmente situadas (^{Bucher, 2018}). Otros, como ^{Wachter, Mittelstadt y Russell (2018)} apuestan por la utilización de explicaciones contrafácticas. Hay, también, propuestas para monitorear los SIA por medio de usuarios ficticios (^{Sandvig, Hamilton, Karahalios y Langbort, 2016}) y otras que permiten que los usuarios puedan tener la capacidad para impugnar interacciones (^{Neyland, 2016}). El debate está abierto y sucede bajo una premisa clara: los SIA están transformando los procesos de RC en las DR y hace falta, por tanto, un nuevo andamiaje institucional para lograr que los SIA rindan cuentas a la ciudadanía.