Inteligencia artificial
Escupir la verdad. La inteligencia artificial y la ideología de la transparencia

Por Ariel Pennisi

Sinceridad, transparencia e información parecen anudar vectores que articulan una tecnología de gobierno que se acopla a una exigencia de rendimiento y control. En ese discurrir actual la pregunta por “qué somos” se convierte en un nuevo desafío.

En este artículo, Ariel Pennisi recorre algunos puntos emergentes del problema desde las tecnologías del Sistema de Crédito Chino hasta el ChatGPT para relanzar la inquietud por lo que resiste.

 

1

Un conocido episodio de la serie Black Mirror deja ver, como en una distopía que no lo es tanto[1], una sociedad cuyas relaciones interpersonales y el funcionamiento mismo de los servicios, créditos e intercambios comerciales, están mediados por un sistema de puntajes. Son los usuarios quienes a través de sus celulares se aplican puntajes entre sí por un principio de simpatía, de acuerdo al humor inmediato o a cálculos coyunturales de cada quien. Mientras tanto, las autoridades se limitan a aplicar premios y castigos en virtud de los promedios de cada usuario. El capítulo, titulado Nosedive (“En picada”) se parece a la utopía neoliberal de un gobierno técnico auto-transparente, de una sociedad desregulada que, ante la ausencia de criterios comunes, se rige por la tiranía del capricho. Pero, al parecer, el modelo del sistema de puntajes que toma como principal instrumento de control al celular, fue tomado del sistema chino de “crédito social”.

En China se implementa el Sistema de Crédito Social (shehui xinyong tixi – SCS13) desde comienzos de siglo, con diversas pruebas piloto y distintas intensidades. En un trabajo de la Universidad de Leiden se comenta que, en 2010, en la ciudad-prefectura de Suéi-Ning “se introdujo un programa de ‘crédito masivo’ (dazhong xinyong), que medía y puntuaba la conducta individual. Los ciudadanos recibieron 1000 puntos de crédito para empezar. Los puntos podían deducirse por el incumplimiento de determinadas normas legales, administrativas y morales. Por ejemplo, una condena por conducir bajo los efectos del alcohol costaba 50 puntos, tener un hijo sin planificación familiar costaba 35 puntos y no pagar los préstamos, entre 30 y 50 puntos. El puntaje perdido podía recuperarse tras un periodo de dos a cinco años, dependiendo de la norma infringida y de la gravedad de la infracción. Sobre la base de las puntuaciones resultantes, los ciudadanos se clasificaban de la A a la D.”[2]

El documento que el propio Estado chino publicó online con el título “Esquema de planificación para la construcción de un sistema de crédito social (2014-2020)” orientado a todas las autoridades regionales comienza con una definición general que marcará el espíritu del planteo: “Un sistema de crédito social es un componente importante del sistema de economía de mercado socialista y del sistema de gobernanza social. Se fundamenta en leyes, reglamentos, normas y estatutos, se basa en una red completa que abarca los registros de crédito de los miembros de la sociedad y la infraestructura de crédito, se apoya en la aplicación legal de la información crediticia y en un sistema de servicios de crédito, sus requisitos inherentes son establecer la idea de una cultura de sinceridad y llevar adelante la sinceridad y las virtudes tradicionales, utiliza el estímulo para mantener la confianza y las restricciones contra la ruptura de la confianza como mecanismos de incentivo, y su objetivo es elevar la mentalidad honesta y los niveles de crédito de toda la sociedad.”[3]

La palabra que aparece casi obsesivamente varias veces por párrafo a lo largo de todo el documento es “sinceridad”. El recorrido del documento deja ver lo ambicioso y exhaustivo del proyecto, que, a diferencia del capítulo de Black Mirror, está integralmente organizado por el Estado y descansa en cada autoridad regional de la escala que sea. El uso de los teléfonos celulares, las cámaras de seguridad en la vía pública, la geolocalización y la inteligencia artificial se combina con la finalidad de establecer criterios de puntuación según la conducta de ciudadanos, comerciantes, empresarios, funcionarios públicos. Para cada ámbito se establecen objetivos y un ideal de “sinceridad” que, en su repetición hasta el hartazgo, nos hace pensar en la noción de transparencia con la que muchas veces definimos a la ideología de la comunicación, a las apologías de la “seguridad” y a las subjetividades forjadas entre aplicaciones y algoritmos.

En un artículo periodístico del periódico digital español El Confidencial, Luis Garrido Julve cuenta que la mayoría de los chinos utilizan la aplicación WeChat para pagar servicios y consumos de todo tipo y que el registro de operaciones y movimientos queda en manos de empresas con las que el Gobierno tiene línea directa”. Según Garrido Julve, esta comodidad vuelta información digital y cruzada con informaciones provenientes de cámaras de seguridad, sensores o de interacciones con otras personas (incluyendo informaciones provistas por terceros), conformarían “un detallado retrato digital del comportamiento”. Así, “desde las autoridades se insiste en que el sistema de crédito social hará del país un lugar más cívico, en el que escupir en la calle o empujar en el transporte público esté penalizado…”

2

En la ciudad de Buenos Aires, a comienzos del siglo XX, se prohibía escupir en el suelo. Cada quien a su rancho con su saliva. Un cartel artesanal prestaba su panza metálica a la ordenanza municipal Abril 11 / 1902: “Se prohíbe escupir en el suelo”. ¿Se trataba de una prohibición tan artesanal como el soporte que la convertía en señalética? Escupir puede ser un acto libre, hostil para con el resto, placentero para el dueño de la saliva o simplemente un reflejo, pero, de todos modos, ilegible para la autoridad más allá de la superficie (nunca mejor dicho). Podríamos conjeturar que la prohibición fue montada sobre un pudor preexistente, cierto límite normativo latente. Se suponía que el escupidor era consciente de herir la susceptibilidad de sus conciudadanos, sobre todo, de los menos guanacos. La “Ordenanza”, entonces, se habría apoyado sobre ese resto de consideración por el otro, tal vez un tanto teñida de moralina, pero atenta, en todo caso, a una sociabilidad considerada un bien en sí mismo. Hoy día, cuando todo se dirime entre individuos y, cada vez más, entre perfiles, una ordenanza como aquella de hace más de cien años no tendría de dónde agarrarse; en un caso extremo, un escupitajo podría motorizar un pleito entre individuos, pero ya no una herida social, ni mucho menos una experiencia rebelde.

Es curioso pensar que en 1902 podía prohibirse el acto de escupir, pero no controlar su cumplimiento; no existían lo medios ni los recursos para ello. El Estado en Argentina estaba más ocupado en la deportación de anarquistas y comunistas que en el urbanismo cívico. Hoy la ciudad puede inundarse, al mismo tiempo, de cámaras y escupitajos. Es decir, que estamos en condiciones —por cierto, temerarias— de registrar cada escupida, como cada partícula del accionar individual, para su procesamiento en tiempo real. Sin embargo, desde el punto de vista del interés social, los monitores no devolverían sino imágenes de seres anónimos escupir indiferencia. Mientras tanto, desde la variedad de intereses privados o estatales interesados en las micro-conductas individuales vueltas perfiles, todo signo de superficie que pueda codificarse como información (hostilidad, ansiedad, propensión al consumo, volatilidad, etc.) funciona como un insumo, data mining. El escupitajo humedecía normas de conducta en un mundo de ciudadanos; mientras que el consumidor y el emprendedor solo escupen micro gestos para máquinas de captura que forman parte de una carrera anticipatoria de los comportamientos. De hecho, el consumidor o el emprendedor son, en última instancia, el verdadero producto…

Lo preocupante de nuestro tiempo no es el control orwelliano, sino algo más parecido a la banalidad del mal… Un herramental sofisticado y una capacidad de estar en todas partes a partir de múltiples dispositivos, para algo tan estúpido como anticipar y provocar comportamientos de consumo, hasta que la vida misma, el “estilo de vida”, se vuelva el consumo en sí. Estamos más cerca de la utopía de Pavlov que de la distopía de Orwell. En lugar de domesticar al lobezno indomable que vive en cada quien –y, sobre todo, a la posibilidad de la manada–, se trata de fabricar un perro más o menos predecible. Como si le preguntáramos al bendito Chat oracular qué es un perro y ese amontonamiento de información con el que nos respondiera fuera la clave… y al conformarnos, un poco excitados por el chiche, algo fascinados como cuando la mascota hace su gracia, nos volviéramos nosotros mismos la mascota de nuestra propia estridencia. Es inevitable la imagen circular, el perro que se muerde la cola.

3

En La inteligencia artificial no piensa dialogamos sobre y entre capas de los problemas fundamentales que se ciernen a la hora de asumir el giro irreversible del silicio. El metaloide es, junto al oxígeno, lo que más abunda en la tierra, como lo serán los algoritmos. En abril de este año, en medio de la excitación (y la angustia)  provocada por la masificación del ChatGPT 4, publicamos junto a Miguel Benasayag, un artículo en forma de entrevista en el diario Tiempo Argentino, que dio el puntapié inicial para que Prometeo pidiera más y bastaran unos tres meses de conversaciones y escritura para organizar el libro, suerte de mapa epocal de lo que consideramos un acontecimiento mayor, en tanto interpela la forma de estar en el mundo de una humanidad ya destejida y las hibridaciones posibles frente al riesgo de la colonización digital. La digitalización de la experiencia y la sorpresa pesadillesca de un animal que cree toparse con su doble “mejorado”, exige un replanteo epistemológico y, en nuestro caso, moviliza, en el fondo, una nueva ontología que –duelo del antropoceno mediante– nos involucra como vectores de una constelación orgánica más amplia que la humanidad. En tono de manifiesto, decimos que hay ecosistemas, hay fuerzas que desbordan nuestra voluntad técnica, hay tecnología que ya no podemos reconocer como exterioridad, hay cerebros humanos como interfaces, hay cuerpos.

La irrupción de la inteligencia artificial antropomorfa en medios de comunicación, en profesiones y esferas de la vida pública antes ajenas, arrastra una trampa ya presente en las décadas del 50 y 60, en el discurso de los mentores de la cibernética: la reducción de la inteligencia a una de sus dimensiones, la capacidad de cálculo. Del mismo modo que se reducen los fenómenos y sus efectos a “información”. Es el pars pro toto evidente que opera la inteligencia artificial: tomar esa pequeña dimensión de la inteligencia orgánica que consiste en hacer cálculos y decodificar información, para convertirla en el modelo mismo de la inteligencia. Por otro lado, si todo es información, la transparencia es realizable. Porque, si lo más constitutivo de la singularidad, como sus pliegues anímicos, su proceder disyuntivo, la posibilidad de la máscara y la morosidad del espíritu, son pasados a retiro por una idea de lo humano y de lo vivo que lo homologa a las nuevas tecnologías, la transparencia, además, puede resultar productiva, es decir, acoplarse a una exigencia de rendimiento que pulula en cada recoveco de la vida colectiva.

4

La gestión de la sinceridad promovida por los chinos es un síntoma, casi tan grande como China misma, de la dificultad para esculpir comportamientos, modelar trazas subjetivas, por parte de las instituciones tradicionales -en el caso chino, además, se superponen sus propias tradiciones milenarias, con la tradición moderna de la razón de Estado. Si “la sinceridad social es la base de la construcción del sistema de crédito social”, si solo mediante “trato sincero mutuo entre los miembros de la sociedad”, bajo control algorítmico-estatal, “será posible crear relaciones interpersonales armoniosas y amistosas, será posible estimular el progreso de la sociedad y la civilización, y hacer realidad la armonía social, la estabilidad y un largo período de paz y orden.”, significa que el dispositivo moderno de contención del lobo que llevamos dentro (Hobbes dixit) y la educación institucionalizada que ayudaría a sonsacar el ciudadano que no sabíamos que llevábamos dentro, perdieron su eficacia histórica.

En Argentina, fue nada menos que la derecha, con Macri a la cabeza, la que lanzó como consigna el “sinceramiento”. Durante el gobierno de Cambiemos, “sinceridad” era el nombre de un laissez faire salvaje, es decir, dejar que el mercado asignase recursos y precios en su movimiento auto-transparente. Que la economía, como una máquina del tiempo, devolviera a los sectores populares a momentos anteriores a las conquistas salariales y sociales. El inefable González Fraga (procesado por el escándalo de corrupción que lleva el nombre de Vicentín) decía que las personas comunes se creyeron que podían vivir “por encima de sus posibilidades”. Por lo tanto, “sinceramiento” era la muletilla para poner al populacho en su lugar, con tarifas abusivas de servicios, salarios a la baja y palos para los protestones. El sinceramiento macrista significó una devaluación cuyos costos pagaron los sectores populares y la ratio inflacionaria adquirió una dinámica que el gobierno del Frente de Todos no supo metabolizar para contrarrestar y, fiel a lo pactado con el FMI, agravó.

El camino de la “sinceridad” nos trajo hasta Milei, la explicitación de los deseos imaginarios de la reacción, que toma transversalmente al poligrillo aspiracional, al empresario de plataformas, al mafioso del petróleo, al imaginario militar que sobrevive en modo dinosaurio o al burócrata sindical. De la sinceridad al sincericidio. Es el fin del simulacro con sus miserias y potencias, la imposibilidad de la figura del tercero o de las mediaciones contenedoras con capacidad para procesar el conflicto. Pero en lugar de advenir una transparencia armoniosa en la que nadie tiene nada para ocultar, respiramos con dificultad una atmósfera espesa, presta a la arremetida de violencias inesperadas. El bien y el mal, como en Hollywood, son un invento del mal, es decir, de la posición que se arroga el lado bueno de la dicotomía. Y al no confiar en instituciones o acuerdos colectivos, al eliminar el problema de la legitimidad, en el fondo, la complejidad irreductible de lo social, solo resta aplicar el castigo hasta la erradicación de todo lo que no se muestra tal como es, o sea, tal como las nuevas tecnologías de gobierno permiten transparentar.

5

La propuesta de los gobiernos chinos de las últimas dos décadas explicita todo lo que en occidente se implementa bajo los modos coquetos del mercado. En ese sentido y no con voluntad de caricaturizar vale la pena tomar nota de todo lo que se puede hacer a través de la implementación masiva de las nuevas tecnologías. Aunque la capacidad de control y modulación de la percepción y las conductas es la cara destellante de una transformación antropológica en curso, mucho más importante (preocupante y desafiante) que la anunciada “gubernamentalidad algorítmica”.

El documento chino dice: “Establecer sistemas de evaluación del crédito en línea, evaluar el crédito del comportamiento operativo de las empresas de Internet y el comportamiento en línea de los internautas, y registrar su rango crediticio. (…) Establecer sistemas de listas negras de crédito en línea, incluir en las listas negras a las empresas y personas que realicen estafas en línea, hagan correr rumores, infrinjan los derechos e intereses legítimos de otras personas y cometan otros actos graves de quebrantamiento de la confianza…” ¿Quién podría oponerse a semejante propuesta de justicia y ajusticiamiento en tiempo real? Al mismo tiempo, ¿quién podría fiarse del ojo avizor de ese tipo de justicia? Pero, sobre todo, como observamos respecto de otros emergentes técnicos y tecnológicos de los últimos cincuenta años, los nobles fines y los “buenos usos” son la punta de lanza de la introducción de nuevos hábitos. Los “posibles” que se abren a partir de formateo que las nuevas tecnologías suponen, en poco tiempo se vuelven imposiciones por inercia social, exigencia del mercado, operación de instituciones y agentes privados.

A la sinceridad, los chinos añaden otra palabra que, por ejemplo, es muy cara a la narrativa del coaching ontológico: la confianza. “Promover la creación de restricciones y castigos mercantilizados. Formular sistemas normativos de evaluación del crédito y métodos de evaluación, perfeccionar los sistemas para registrar y exponer la información relativa a los quebrantamientos de la confianza, garantizar que los quebrantamientos de la confianza se vean limitados en sus interacciones en el mercado.” Lo que permanece ausente en el documento del Estado chino es el problema del poder. Como si la ley no engendrara la trampa, como si el frenesí castigador no promoviera la delación y, por lo tanto, la proliferación de una paranoia capilar, antes que la instauración de la confianza a escala social. Está abierto el problema en un país como China que combina disciplinamiento estatal y sobreexplotación laboral y, ahora, después de mucho tiempo, enfrenta un malestar creciente de la población. El problema del poder, la opacidad antropológica del animal humano, los pliegues que median las relaciones sociales, las paradojas que atraviesan de cabo a rabo las construcciones humanas que organizan por un instante en la historia algo de sentido, no son ni reemplazables ni eliminables. Lo reprimido retorna como una tromba (Freud dixit).

En un artículo de El Diario del Pueblo (2013), se dice que el sistema de gestión social centrado en los créditos sociales tiene como objetivo el “camino y el método básicos” para garantizar “la vida segura y el trabajo feliz de las personas, la estabilidad y el orden social, y la paz y la estabilidad a largo plazo del Estado”. Aldous Huxley no lo hubiera dicho mejor. Pero más allá de esas resonancias algo pasadas de moda, la novedad no pasa tanto por el control, como por la desrealización de cualquier indicio subjetivo que mantuviera distancia respecto de los dispositivos, una distancia siempre interna, ya que los dispositivos contemporáneos no son fenómenos externos, sino parte de la hibridación ya irreversible de nuestra especie.

La noción de “gestión social”, que data de los tiempos de Mao, estaba asociada a un sujeto político, el “pueblo trabajador”, con capacidad de organización y para el cual la línea del Partido resultaba inteligible, tanto como las represalias a la disidencia política. En ese sentido, la misma noción se cierne actualmente entre la incomprensión y la desconfianza de contingentes de personas difícilmente representativas de algo llamado “pueblo”, que, esta vez, en lugar de cohesionarse con los planteos de un Partido que busca su movilización, aparece como objeto de control y desagregación. Ya no la masa, sino individuo por individuo o, más aun, gesto por gesto. Así funciona Big Data, descomponiendo en micro-comportamientos el ir y venir de las personas y recombinando cada mueca como parte de un perfil.

Las propuestas de “gobierno tecnológico” van de los planteos neoliberales austríacos hasta los experimentos chinos. En cualquier caso, ninguna de las tendencias presupone un tipo de sujeto como el que se construyó en la modernidad. La paradoja fundamental de esa idea consiste en que no se trata del gobierno en un sentido político clásico, porque la “gubernamentalidad” que emerge no gobierna ni pasiones, ni conflictos, ni individuos psicológicos, sino fragmentos, segmentos, vectores. Por eso, la hipótesis de trabajo que sostenemos junto a Miguel Benasayag, Florencia Carbajal, Raúl Zibechi, María Elena Ramognini[4], entre otras y otros compañeros, descarta la restitución del sujeto sintético a priori y de un colectivo político a su imagen y semejanza, ya que se trata de buscar figuras del actuar y del “estar siendo”[5], que incluyan los vectores de humanidad, cultura, pensamiento, naturaleza y técnica, a la altura de lo que aun en cada quien resiste.

 

 


Ariel Pennisi. Docente e investigador en la UNPAZ y la UNA. Doctorando en Ciencias Sociales (UBA). Es autor de Nuevas instituciones (del común) y La globalización. Sacralización del mercado entre otros libros. Codirige Red Editorial.

 


[1] Pennisi, Ariel (2018). “Uma distopia pela metade”, en Cava, Bruno, Duarte Costa Corrêa, Murilo orgs. (2018). Pensar a Netflix, Belo Horizonte: Editora D’Plácido.

[2] Creemers, Rogier (2018), “China’s Social Credit System: An Evolving Practice of Control.” Disponible en  https://ssrn.com/abstract=3175792

[3] Se trata del primer párrafo del texto, publicado en 2014 y actualizado en 2015. Las reformas fueron constantes y en este momento, la última versión figura como “aun no promulgada”. https:// npcobserver.com/legislation/social-credit-system-development-law/

[4] A modo de colectivo elaboramos en paralelo dos libros que, más allá de las autorías, forman parte de la constelación problemática abordada parcialmente en este artículo: Del contrapoder a la complejidad (Ariel Pennisi, Miguel Benasayag, Raúl Zibechi, Red Editorial 2023); y La infertilidad como negocio (Florencia Carbajal, María Elena Ramognini, Red Editorial 2023).

[5] La evocación al pensamiento de Rodolfo Kusch es en este punto explícita.

Comentarios: