Entrevista a Natalia Debandi por Mariana Percovich y Dolores Amat

Natalia Debandi es Licenciada en Ciencias de la Computación (UBA) y doctora en Ciencias Sociales por la UBA y por la Universidad Paris IV Sorbona. Apasionada por la tecnología y por las transformaciones sociales, Debandi sigue de cerca las innovaciones y las noticias que se generan a diario a partir de los desarrollos y los usos de las Inteligencias Artificiales. Actualmente, Debandi se desempeña como Investigadora de Conicet en el Centro de Inteligencia Artificial Interdisciplinario de la Universidad Nacional de San Martín y como docente de Gobernanza de Datos e IA en la carrera de Ciencia de Datos de la misma Universidad. Además, coordina proyectos relacionados con el uso de la IA y escribe artículos en revistas especializadas.

 

 

Percovich y Amat: La guerra de Estados Unidos e Israel contra Irán genera algunas consecuencias esperables y otras inesperadas (al menos para el público masivo). Entre otras cosas, se generó una controversia entre una de las empresas de IA más importantes del mundo y el gobierno de Donald Trump por el uso de las nuevas tecnologías para la vigilancia interna y para la generación de armas letales autónomas. Días después de que esa discusión se hiciera pública, funcionarios del ministerio de relaciones exteriores de China advirtieron sobre los riesgos del uso de la IA en el ámbito militar. En particular, se refirieron a los peligros de utilizar armamento autónomo y señalaron que su implementación sin supervisión humana podría generar escenarios apocalípticos.

¿Podemos sostener una actitud optimista respecto de estas tecnologías?

 

Debandi: Yo voy y vengo entre el optimismo y el pesimismo. Y sí, estas noticias no son para nada alentadoras. Tengo mucha confianza en las capacidades de los seres humanos para ir generando anticuerpos, incluso para las enfermedades que nosotros mismos generamos. Pero entiendo que escenarios como el actual requieren de líderes muy conscientes y cuidadosos. Líderes y normas que puedan dar cauce a los cambios, por eso estudio y enseño gobernanza de datos e IA.

 

P y A: ¿Podrías resumir en pocas palabras lo que es la gobernanza de datos y de IA y por qué tiene sentido enseñarla en una Universidad pública?

 

D: A mí me gusta pensar a la gobernanza de datos como los mecanismos de consenso entre todos los actores involucrados en la construcción y uso de datos (sector público, privado, académico y organizaciones de la sociedad civil) y me gusta hacer la distinción de “gobierno de datos” para referirme a los lineamientos, políticas y definiciones que estructuran el ciclo de vida de los datos dentro de una organización.

La gobernanza de datos la debatimos a nivel global, nacional, regional. Discutimos principios, normas y acuerdos, y en el gobierno de datos se definen las prácticas internas de una organización que, claro, deben estar alineadas con esos marcos pero también ajustadas a sectores o disciplinas específicas.

Y la gobernanza de la IA puede pensarse como una extensión de este enfoque, ya que hoy resulta difícil separar el uso intensivo de datos de la inteligencia artificial. Con la IA emergen aspectos vinculados a las evaluaciones de sesgos de los datos y de los modelos, el impacto social y ambiental, y la degradación de los modelos en el tiempo, temas con desarrollos incipientes aún.

 

P y A: Chile lanzó el 10 de febrero Latam-GPT, un proyecto que busca generar para América Latina un modelo de inteligencia artificial propio, en un sector dominado por grupos estadounidenses. Uno de los objetivos es el de limitar ciertos sesgos observados en los sistemas actuales. El proyecto es impulsado por el Centro Nacional de Inteligencia Artificial de Chile (Cenia), una corporación privada con financiamiento público y es apoyado por fundaciones, universidades, bibliotecas, entidades gubernamentales y organizaciones de la sociedad civil de países como Argentina, Brasil, Colombia, Ecuador, México, Perú y Uruguay.

¿Pueden generar una diferencia este tipo de proyectos?

 

D: A mí el proyecto de Chile me encanta. Creo que tenemos que desarrollar tecnología propia, con nuestros propios recursos y nuestros propios datos. De todos modos, entiendo que para que estos esfuerzos hagan impactos significativos se necesitan también decisiones políticas estratégicas y verdadera coordinación regional, con cooperación y visiones a largo plazo.

En este sentido, yo creo que para no repetir lo que ya existe pero con alguna diferencia menor, es necesario pensar qué tenemos nosotros para aportar. Creo que este tipo de proyectos son valiosos si vienen acompañados de una política de desarrollo. La IA requiere de mucha inversión, energía y agua, y es necesario que pensemos de qué manera vamos a aprovechar eso que tomamos. Lo mejor sería contar con un marco de gobernanza de datos y de IA nacional y regional, que permita guiar esas decisiones.

 

P y A: ¿Cómo puede ayudar la Universidad a ordenar la conversación sobre la IA? ¿Cuáles considerás que son las preguntas más relevantes para poner hoy sobre la mesa?

 

D: Creo que quienes trabajamos en las universidades tenemos que pensar desde qué lugar nos vamos a acercar a este tema, cuál va a ser nuestro lugar. La declaración “IA para el Sur Global, agenda de investigación para la próxima década”, es un reporte en el que participan un conjunto de organizaciones y universidades, que sacaron a fin del año pasado y con el que yo coincido mucho. En el punto 5 proponen que el sur global adopte una estrategia propia: en lugar de replicar modelos costosos del norte global, aprovechar la ventaja de llegar después. Pensar qué oportunidades se nos abren, cuál es nuestro nicho, con las capacidades, el capital cultural, económico, social e histórico que tenemos.

En Argentina tenemos núcleos intelectuales muy fuertes con mucho conocimiento y desarrollos. Desde las ciencias sociales, por ejemplo. Hay algo ahí muy robusto para contrarrestar, quizás, otras miradas muy hegemónicas. Incluso con toda nuestra trayectoria respecto a los derechos humanos, a la participación social, al conocimiento situado. A mí me parece que deberíamos posicionarnos desde esas capacidades que son propias y singulares.

Pero si quisiéramos adoptar una posición de ese tipo tendríamos que contar con una visión política amplia, con capacidad para generar políticas públicas coherentes y estamos bastante lejos de eso. De hecho, las regulaciones sobre datos e IA más avanzadas como la europea, si bien siguen siendo la referencia, hoy están siendo cuestionadas o limitadas para poder competir en un mercado que crece de forma exponencial. Pero aún si es necesario ir corrigiendo elementos en el camino, se necesita una estrategia nacional clara, sin ella las Universidades tienen menos capacidad para coordinarse y aportar juntas al desarrollo productivo nacional.

 

P y A: Dado que es un hecho que la IA se utiliza en todos los ámbitos de las investigaciones, de todos los campos ¿no sería importante empezar a matizar esos usos y empezar a comprender la diferencia entre usarlo para corregir la gramática de un texto y redactar conclusiones, por ejemplo?

En ese sentido, ¿cómo podemos hacer que esa herramienta participe del desarrollo, tanto intelectual de estudiantes como de una economía de un país? ¿Cómo hacer que un recurso que puede llegar a ser muy letal para muchas capacidades sea productivo en lugar de destructivo?

 

D: Tengo dos clases de reflexión sobre este tema. La primera surge de mi práctica como docente. Yo no soy experta en pedagogía y no puedo dar consejos generales sobre el tema. Pero sí puedo contarles mi experiencia. Lo que yo me di cuenta en un momento es que no podía ir en contra del uso de la IA por parte de los estudiantes. Entonces decidí incorporar ese uso como parte de las tareas de los estudiantes: les propongo que la usen y que problematicemos en el camino lo que va apareciendo. Yo doy materias que tienen un costado más técnico pero no están exentas del riesgo de la aceptación acrítica de lo que la IA arroja.

Me ha pasado de pedir un trabajo práctico y encontrarme con que todos lo habían hecho con IA o que habían pegado respuestas obtenidas de algún foro del que participaban. Todos los trabajos iguales, lavados, superformales, sin picardía ni sabor.

Ahora pasé a proponer muchas exposiciones en el aula, orales y presenciales. Pero cuando no son presenciales, propongo que usen la IA y que vayan registrando los problemas o los errores, que son muchos, sobre todo en lo que es programación.

Les cuento una anécdota personal: el año pasado mi hijo, que está en el secundario, tenía que hacer un trabajo práctico sobre indicadores de natalidad en Sudáfrica. Era difícil. Él buscó bibliografía, googleó, nadie le había explicado muy bien cómo resolverlo. Finalmente buscó con ChatGPT y sacó alguna información que parecía razonable. Hizo varias iteraciones, lo copió, lo pegó en el PowerPoint, lo estudió, lo entendió, lo discutimos. ¿Y qué hice yo? No tuve mejor idea que decirle: “Avisale al docente que usaste ChatGPT.” Me hizo caso y como resultado sacó cero. Todos los amigos, que también habían usado ChatGPT, aprobaron. Es una pavada, mi hijo pudo levantar después la nota, pero para mí muestra la ceguera que implica no aceptar que esa herramienta se usa y no va a dejar de utilizarse por penalizar o desaprobar a los estudiantes.

Otra cuestión es el uso dentro de la investigación o el desarrollo productivo. Por ejemplo, en investigación en ciencias sociales se usa la IA para análisis de documentos históricos, reconocer discursos de odio y violencias en redes sociales o transformaciones urbanas analizando imágenes. En otras disciplinas, como la medicina, se trabaja con el análisis de imágenes, sensores, ondas cerebrales o del sueño. En fin, hay muchísimas aplicaciones. Para mí en introducir la inteligencia artificial como parte del proceso de investigación o desarrollo, es donde reside su mayor potencial.

Pero al mismo tiempo, se abren debates centrales de gobernanza: ¿Cómo minimizar sesgos que pueden generar discriminaciones? ¿Cómo asegurar decisiones robustas y evitar la degradación de los modelos con el tiempo? ¿Cómo garantizar la explicabilidad para que estas estrategias puedan integrarse en la producción de conocimiento científico, que debe ser auditable, explicable y reproducible por definición?

 

 

P y A: ¿Podrás explicar qué son los agentes, este fenómeno del que empezamos a escuchar hace poco y que ahora parece estar en el centro de las expectativas y las preocupaciones? 

 

D: Un agente es una IA preparada para hacer una tarea específica, a diferencia de los “chat” que conocemos como ChatGPT que nos “dice” cosas, el agente las hace. En lugar de decirnos a qué playa nos conviene ir en verano, nos saca el pasaje. Ahora lo que hay es una explosión de agentes y se va hacia la “orquestación de agentes”, que significa que hay muchos agentes que tienen tareas específicas y que cada uno hace la suya. Es decir que hay un montón de IA haciendo cosas autónomas y que a diferencia del software que seguía reglas es capaz de improvisar y generar sus propias reglas para alcanzar el objetivo.

Hace unos días se conoció una historia superdistópica con un agente. El usuario que cuenta la historia le puso nombre a su agente, lo llamó Henry, y le dio algunas tareas para hacer durante la noche. A la mañana siguiente, al despertar, el usuario atiende una llamada que llega de un número desconocido y para su sorpresa escucha del otro lado a su agente, que le pide que libere unos archivos para poder terminar con una de sus misiones. Esto quiere decir que el agente fue encontrando las capacidades para hacerse paso y cumplir con la tarea encomendada y en un momento notó que necesitaba comunicarse con la persona para que le habilitara algunos caminos. Como tenía acceso a la agenda, sabía la hora en la que sonaba el despertador y esperó hasta ese momento para hacerle una llamada. En el camino, consiguió una forma de comunicarse a través de una voz.

Es una historia contada por un usuario, podría ser falsa. Pero lo llamativo, creo yo, es que no es inverosímil. Y hace un año nos hubiese parecido imposible.

Creo igual que no estamos en condiciones de que experiencias de ese tipo sean masivas por el momento. Los que estamos pendientes de estos desarrollos no somos tantos, la mayoría de la población está pensando en otras cosas. Salís de los grandes centros urbanos y de los grupos de interesados y a pocos les interesa saber qué es y para qué sirve un agente.

En este sentido, me parece que todavía hay un porcentaje muy amplio de la vida que no está atravesada por la IA. Y espero en algún sentido que las cosas sigan siendo así: la IA es una herramienta útil para muchos ámbitos de la vida, pero no para todos.

Y creo que somos muchos los que creemos que hay que ser cuidadosos con sus usos. Lo veo con mis estudiantes, por ejemplo. En la materia de gobernanza de datos en la carrera de Ciencias de Datos hablamos de las posibilidades pero también de los límites, de los marcos regulatorios.

Hablamos de los problemas de delegar en los usuarios la responsabilidad sobre los recursos que se les ofrecen, de la necesidad de contar con organizaciones, instituciones, normas y mecanismos para anticiparse a ciertos peligros.

La verdad es que siempre estoy esperando que mis estudiantes me discutan, que rechacen todo el marco normativo y el enfoque de derechos del que hablamos en clase. Muchas veces pienso que me van a decir que tantas reglas no les dan libertad. Incluso abro el espacio para que se de la discusión porque me parece que es importante pensar sobre estas cuestiones, no aceptarlas de modo acrítico. Pero, al contrario, sucede que les parece bien que haya encuadres, se interesan porque dicen que son ellos mismos los que pueden padecer los riesgos, quieren saber qué se puede hacer para evitar males.

También lo veo en empresas, especialmente en las empresas un poco más chicas. Tienen miedo de meterse en tecnologías que no terminan de entender, de que les venga, por ejemplo, un problema con un cliente por haber hecho un chatbot demasiado rápido.

Hay muchos reparos y está bien, se dan a veces más límites en la práctica que en las normas. Porque las empresas no se quieren arriesgar a hacer cualquier cosa y cada vez que llega alguien a ofrecerles una solución hacen preguntas: ¿y qué pasa con los datos? ¿Y qué pasa con la privacidad? ¿Y qué pasa…?” Creo que es una actitud prudente que para mí hay que seguir trabajando en todos los ámbitos, al mismo tiempo que se promueve el avance tecnológico.

 

P y A: ¿Y con respecto a los usos privados, tuyos y de los otros, sos optimista?

 

D: Como les decía, también voy y vengo entre el optimismo y los temores.

Ayer hablaba con una amiga que trabaja sobre archivos y derechos humanos. Está haciendo su tesis de doctorado y me dice que ahora su mejor amigo es Notebook LM. Dice que le da bibliografía, discute ideas y la ayuda a pensar. Para mí eso es espectacular: tener una herramienta que acompaña un proceso tan solitario como la escritura de una tesis es buenísimo.

Claro que sabemos que detrás de esa herramienta hay una estadística que propone la probabilidad de la siguiente palabra en función de lo que le estás dando. En ese sentido, es como preguntarse ¿cómo pensaría yo si fuese más rápido? Se lo puede pensar simplemente como una especie de espejo de todo lo que le fuiste metiendo, que te sirve para trabajar esa información.

A mí esos usos me parecen buenísimos. Yo uso mucho la IA. Nunca logré todavía que me de una idea inteligente que pueda usar directamente, pero para ordenar mi desorden de escritura, para codificar, para la programación (yo trabajo con datos) es increíble.

También se equivoca un montón. Si nosotros lo pensamos como una herramienta, como hoy más que nada se usa, todavía me parece optimista el escenario. Cuando escucho lo de las agentes que cualquiera puede instalar sin entender del todo lo que pueden hacer, ya no me siento tan optimista.

Hace pocas semanas se publicó OpenClaw que es algo así como un “agente de IA personal”, que cualquier puede instalar de forma gratuita en una computadora personal. Inmediatamente aparecieron nuevos agregados que permiten usar este agente para trabajar datos en la bolsa, para borrar archivos, para publicar contenidos en línea. Es decir que hoy cualquiera con una computadora puede poner un agente de IA a trabajar solo. Lo difícil es controlarlo.

El avance exponencial de estas capacidades nos lleva a pensar realmente si estamos en condiciones de dominarlo, de darnos cuenta de los errores, de comprender y acompañar todas las decisiones que toma y de lo que genera.

Ya hay una lista larga de agentes que pueden ser maliciosos, que pueden generar fake news, por ejemplo. Eso es súper sencillo. Lo que no es tan fácil es identificarlos y controlarlos ¿Cómo hacemos? No están todavía las herramientas precisas.

Del lado técnico, ya existía el problema de las plataformas y de los algoritmos que nos hacían solamente leernos y escucharnos a nosotros mismos. Lo que hace la IA es (nuevamente) exponenciar eso. La IA magnifica las burbujas porque tiene la capacidad de entender más claramente y a nivel individual la lógica de funcionamiento. Te puede identificar, clasificar directamente de modo singular: a vos te interesa esto, te gusta esto, circulás por estos lugares, pertenecés a estos grupos, etc. Pero no se trata ahora simplemente de una segmentación de grupo social, sino de una segmentación individual y muy precisa. Ahora sí, se puede conocer exactamente los usos y costumbres de cada uno, y se puede dar, comunicar, ofrecer lo que es muy específicamente para cada quien. Y los riesgos de manipulación, entre otros, se hacen más grandes.

En este contexto, creo que desde las Universidades, el Estado y las organizaciones de la sociedad civil necesitamos generar estrategias y tecnologías que hagan frente a estos problemas. Si no podemos evitar la propagación de fake news, por ejemplo, deberíamos buscar las herramientas para identificarlas y contrarrestarlas. Necesitamos desarrollar capacidades técnicas, intelectuales, normativas y de otros tipos para defendernos de lo peor pero también para aprovechar lo mejor de las innovaciones de los últimos años.