Los vaivenes de la política pública de datos


Por María Gabriela Larrauri(*)

La Secretaría de Innovación Pública de la Nación acaba de anunciar que creará una nube estatal para custodiar datos. La inversión inicial para este “nuevo modelo estratégico” sería de más de 500 millones de pesos y su administración estará a cargo de ARSAT.

Paralelamente la Municipalidad de Córdoba acaba de firmar un convenio con Amazon para trasladar sus sistemas, inicialmente el tributario, a la nube que administra esta firma internacional. Esto hace suponer que ARSAT no tiene ya más capacidad para dar servicios que habitualmente provee a organismos públicos, incluidos algunos municipios. Y además ¿Qué pasa con el polo tecnológico Córdoba?

Se podría decir que quizá existe una demanda insatisfecha que ARSAT se propone cubrir. Pero más allá del mercado, y del liderazgo de Amazon en la provisión de servicios de nube, es bueno pensar si como país tenemos una política pública consistente en un ámbito de central importancia en el contexto de la Sociedad de la Información, cómo es el desarrollo de infraestructura tecnológica y el manejo de los datos, y en particular, los datos públicos. Existen muestras evidentes de inconsistencia y de permanente discontinuidad en este ámbito que debería ser política de estado, sin sujeción a disputas partidarias y en un marco de extrema transparencia. Siendo un ámbito altamente estratégico por qué no trazar esquemas de cooperación público-privado, o mecanismos de flexibilización para las empresas nacionales y de paso fortalecer o propiciar los desarrollos locales siempre escuetos por el tamaño de nuestro mercado. El modelo Silicon Valley sigue siendo una referencia.

Podría existir además un planteo de fondo: ¿Queremos que sea el Estado, en cualquiera de sus formas, el que tenga cierto control, administración o custodia de nuestros datos? ¿Dónde nos paramos entre el mercado y el Estado en este punto? ¿Podemos integrar las miradas? Cualquiera sea la respuesta, el problema es que como sociedad no nos damos espacio para estos debates, y las cosas suceden sin una construcción colectiva que nos permita revalorizar el espacio de la política. Confieso, yo no tengo una posición definida en este punto, y quizás abrir el tema nos ayuda a muchos a comprender y a evitar cierto recelo.

En el transcurso de los últimos siglos los contornos del Estado han sido el fruto de procesos y movimientos de expansión y reducción de espacios y competencias, siempre dentro de una forma de organización social compatible con el sistema capitalista, con o sin democracia. Existe una serie de atributos que definen al Estado moderno, tales como la organización del poder y del territorio, su soberanía, el monopolio del uso legítimo de la fuerza y primordialmente su capacidad de conformar una identidad colectiva. Estos atributos clásicos, que ciertamente se han relativizado con el paso del tiempo, no son arbitrarios, conforman el ser del Estado para la articulación de relaciones sociales en el marco de un orden económico determinado que pretende responder al interés general. Es desde este lugar, quizá lejano frente a tanta crisis, que como sociedad seguimos esperando respuestas y soluciones que están más ceñidas al bien común que a la lógica implacable del mercado.

En su libro Inteligencia Artificial o el Desafío del Siglo, Sadin describe cómo las grandes naciones del S. XVII cobraron vida por la ambición de gobernar pragmáticamente sobre bases racionales. El Estado debía definir métodos apropiados para alcanzar sus objetivos, entre otros reconocer el territorio y definir la contribución para su sostenimiento. Con el paso del tiempo la información recolectada requirió herramientas cada vez más sofisticadas. En el S. XIX se dirá que “la estadística es una conciencia de sí colectiva” y esto permitirá ver en movimiento la vida de las naciones. En el S. XX la estadística ya no solo contribuye a respaldar políticas públicas, sino también actores económicos. Progresivamente, la mayor parte de los sectores van a generar datos digitales.

Hoy disponemos de datos a escala planetaria y de máquinas que tratan masas de datos y que pueden ellas mismas iniciar operaciones según criterios previamente definidos. Podemos “cartografiar” prácticamente todo lo existente y más, consumos, emociones, sentimientos, preferencias que generan datos que están continuamente sometidos a análisis y no necesariamente por la organización estatal. En esta inflación de datos, son principalmente algunos pocos gigantes tecnológicos, extractivistas de datos, los que se benefician. No estoy segura que ello contribuya al bien común. No solo se trata del juego inocente de la innovación. Expresa Sadin “… lo que parece estar estructurándose son lógicas tecno-económicas que determinan un principio de gobernanza con objetivos únicamente utilitaristas en un proceso de racionalidad extrema donde lo humano no tiene cabida. Así, los seres humanos estamos atrapados en las mallas del Leviatán de nuestra era, algorítmico, formalizado en mecanismos a los cuales, por el supuesto bien de todos, se les otorga el derecho de actuar por sí mismos, sin apelar a nuestro consentimiento y sin capacidad de oponer resistencia”.

 

 (*) Texto e imagen publicados el 28-03-2021 en diario LaVoz  (https://www.lavoz.com.ar/opinion/vaivenes-de-politica-publica-de-datos)

Algoritmos, controversias y leyes de la naturaleza – parte II

 

Por Adela P. Depetris

Del debate (1) alrededor del algoritmo predictivo COMPAS, surge que: la sociedad es quien debería estar en condiciones de decidir sobre qué deben priorizar los algoritmos en cada caso.

“Cortes, bancos y otras instituciones estan usando sistemas de análisis de datos automatizado para tomar decisiones sobre tu vida. No dejemos a los productores de algoritmos decidir si lo están haciendo bien o no.” dice Matthias Spielkamp en su artículo “Inspecting algorithmos for bias” (2) que se usó como referencia para esta nota.

Y agrega: “Todo algoritmo tendrá sesgos, ya que después de todo está realizando una predicción basada en estadísticas generales, no en situaciones individuales. Pero así y todo podríamos usar tales sistemas para guiar decisiones que sean más sabias y justas que aquellas que los humanos tendemos a realizar por nosotros mismos”. Los sistemas de Toma de Decisiones Automatizada, (ADM por su sigla en inglés,  Automated Decision-Making)  grupo al que pertenece el software COMPAS, pueden ayudar en casos en que la toma de decisiones ¨humana” pudiera ser incoherente y necesitara ser supervisada. Como ejemplo, un estudio de la Academia de ciencias de EEUU que demuestra que los jueces eran más proclives a otorgar libertad bajo palabra a convictos que eran presentado a la mesa examinadora luego de una pausa para refrigerio: (3).

“El hecho que la mayoria de los ADM sean cajas negras para las personas afectadas por ellos no es una ley de la naturaleza” dice en su manifesto(4). Algorithm Watch. Es una ONG co-fundada por Matthias Spielkamp, con sede en Berlín, que estudia los riesgos y las oportunidades del uso de algoritmos. Propone preguntarse y responder, qué deberiamos hacer para tener un mejor manejo de los ADMs:

Si aceptáramos que los algoritmos podrían hacer la vida más justa si están bien diseñados, ¿cómo podríamos saber y discernir si están bien diseñados o no?

    • Las sociedades que se dicen democráticas deberían estar ya trabajando para determinar qué grado de transparencia se espera de los ADMs.
      (Necesitamos nuevas regulaciones para el software para asegurar que pueda ser adecuadamente inspeccionado).
    • Abogados, jueces y un público informado en general deberían tener cabida en definir qué medidas de equidad y juego limpio son priorizadas en los algoritmos.
      (Y, si los algoritmos no reflejaran estos valores, definir quién debería rendir cuenta).
    • Lo que es importante es que las sociedades y no exclusivamente los constructores de algoritmos hagan los juicios de valor que se hallan en los ADMs.

 

Fuentes:
(1) Algoritmos, controversias y leyes de la naturaleza – Parte I
(2) https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ by Matthias Spielkamp, 2017 MIT Technology Review
(3) Factores externos en decisiones judiciales (Extraneous factors in judicial decisions) Autores: Shai Danziger, Jonathan Levav, Liora Avnaim-Pesso y otros – Academia Nacional de Ciencias de los Estados Unidos.
(4) https://algorithmwatch.org/en/what-we-do/

Algoritmos, controversias y leyes de la naturaleza – parte I

Por Adela P. Depetris

El impactante y provocador subtítulo de la nota(*) publicada hace tres años por ProPublica, rezaba: “Hay un software usado en todo el país que predice futuros criminales. Y está sesgado en contra de los negros”. La reconocida organización (dedicada al periodismo investigativo en EEUU y ganadora de varios premios Pulitzer) publicó además y en simultáneo su documento de investigación sobre el conflictivo software: “Cómo analizamos el algoritmo de reincidencias COMPAS” – (1)

Después de estudiar más de diez mil casos en Florida en los que el defendido fue sentenciado con la asistencia del software COMPAS, ProPublica demostró que existía un sesgo contra los defendidos afroamericanos. Sus conclusiones fueron dos: (a) era más probable que afroamericanos fueran incorrectamente juzgados como con mayor riesgo de reincidencia y (b) era más probable que defendidos blancos fueran incorrectamente evaluados como de bajo riesgo de reincidencia, con lo que inició un amplio debate.

El debate en cinco puntos:

1. COMPAS (acrónimo de Correctional Offender Management Profiling for Alternative Sanctions) es un software que asigna puntajes de riesgo de reincidencia criminal a partir de un cuestionario de más de 100 preguntas que debe completar toda persona arrestada en varios estados del país del norte. El software contiene un algoritmo que genera, basado en las respuestas, un puntaje entre 1 y 10. Guiados por él, los jueces toman decisiones sobre el futuro de imputados y convictos. La idea es que un algoritmo que utiliza gran cantidad de información sobre la persona arrestada puede ayudar a tomar decisiones menos subjetivas, menos afectadas por el posible error humano, sesgos, o racismo.

2. El software es propiedad de la empresa Northpointe (nombre de marca cambiado a Equivant recientemente ) (2) que, por razones de competencia comercial, no comparte el código fuente, por lo que no puede conocerse de qué manera(con qué formulas) el algoritmo calcula el puntaje a partir de las respuestas al cuestionario.

3. La Corte Suprema de Wisconsin (State vs Loomis)(3) estableció que, si es usado correctamente,  la consideración del puntaje de riesgo de COMPAS al momento de la sentencia no viola los derechos de las personas a un debido proceso. Que no puede confiarse en COMPAS de forma excluyente. Y que en el futuro el uso del puntaje de riesgo debía acompañarse con un aviso explicando sus limitaciones. Por ejemplo que el puntaje está basado en estadísticas a través de la comparación de datos de las conductas de personas de grupos poblacionales similares al del defendido, pero no está basado en la persona particular en consideración y que el algoritmo detras del sistema asi como la forma en que otros factores son ponderados son datos mantenidos sin revelar (al defendido y a los jueces) debido a la naturaleza propietaria de la herramienta.

4. Volviendo al informe de análisis publicado por ProPública, NorthPointe en su respuesta de descargo a dicho informe, argumentó que los periodistas habían interpretado mal los datos, y que no existía tal sesgo en el algoritmo que perjudicaría a la minoría afroamericana.

5. Finalmente, ante la controversia, un grupo de investigadores de Stanford estudió la polémica y publicó su informe en el blog del WashingtonPost (4):

El problema no es explícitamente sesgo racial, ya que COMPAS no utiliza la raza como un factor en su puntaje de riesgo. El problema, de acuerdo con los investigadores, surge, en primer lugar, de las nociones contrapuestas de justicia/equidad elegidas por las partes en disputa.

  • El modelo COMPAS trata de conseguir equidad logrando una misma tasa de aciertos para todos los defendidos al predecir quienes reincidirán y de hecho reinciden: esta tasa es del 60 % de aciertos en sus puntajes sea el defendido blanco o afroamericano -. Debido a esta igualdad en la tasa de aciertos al predecir reincidencia, es que Northpointe afirma que su algoritmo es justo y que ha diseñado el algoritmo para este objetivo (lo que se conoce como “paridad predictiva”).
  • Por otro lado, y sin negar esos números, ProPublica aleja la mira de los reincidentes y ante el mismo conjunto de casos, considera en cambio el subconjunto de aquellos que habiéndose predicho que reincidirían finalmente no lo hicieron (falsos positivos(5)). Bajo este lente, los defendidos de color eran casi dos veces más proclives a ser clasificados equivocadamente durante el proceso como de riesgo “medio” o “alto” por COMPAS, -aún cuando eventualmente lograran su camino a la liberación. Este es el criterio de equidad que Propublica reclamaba como faltante, contrapuesto al de NorthPointe.

Según el informe citado es matemáticamente imposible para un modelo de puntajes de riesgo, satisfacer ambos criterios de equidad al mismo tiempo. Podemos verlo gráficamente como un dial. Girar el dial hacia un lado, erosiona la exactitud del otro lado. En tanto COMPAS calibre su algoritmo de acuerdo a su noción de equidad, la incongruencia notada por ProPublica ocurrirá inevitablemente.

Lo significativo es que en un algoritmo de justicia como el que se trata aquí, falsos negativos pueden afectar la vida de personas inocentes y deben ser chequeados de acuerdo a ese potencial impacto. “Los beneficios obtenidos cuando COMPAS acierta, ¿valen el precio que pagan los defendidos afroamericanos cuando COMPAS no acierta?”-se pregunta ProPublica. Dado el potencial de expansión del uso de COMPAS, (ya en febrero de 2019, software predictivo de esta especie comenzó a ser usado -por catorce fuerzas policiales (6))- en el Reino Unido ), el verdadero interrogante es: ¿quién debería responder esa pregunta?

Respecto al sesgo racial, también hay que considerar que un algoritmo podría no tener tal sesgo en sí mismo, pero estar indirectamente reflejando sesgos raciales preexistentes en el sistema judicial y en la sociedad. Por ejemplo, el cuestionario de COMPAS no contiene preguntas sobre raza, lo que en teoría significaría menos decisiones influenciadas por racismo, aunque sí contiene preguntas sobre arrestos anteriores o sobre la existencia de arrestos en la familia que son más factibles de ser respondidas positivamente por los grupos minoritarios que por blancos, dice Angwin abogada de ProPublica en el artículo para la BBC escrito por Simon Maybin(7).

Sabemos que el proceso de creación de un algoritmo se basa ampliamente en el mecanismo de machine learning. Se parte del diseño de una función matemática que intenta representar la relación entre distintas variables que influyen sobre un problema dado que se quiere modelizar. Para probar el acierto de la función y mejorarla, se debe contar con una cantidad enorme y fidedigna de datos históricos que también en un punto se utilizarán para corroborar su grado de acierto. De esta manera la creación de los algoritmos es completada con datos producidos, seleccionados y depurados por humanos, y si los datos a los que se puede acceder, están teñidos de sesgos históricos y estructurales, se trasladarán a la producción resultante. (8).

Todo en estas controversias y debates que se derivaron, indican que es la sociedad -incluso más allá de las cortes, abogados, técnicos, público informado- quien deberia ser ilustrada y estar en condiciones de decidir sobre qué deben priorizar los algoritmos en cada caso.

 

Fuentes:
Basado en https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ Autor: Matthias Spielkamp (2017), MITReview
(*)La nota:>https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
(1) El documento de investigación : Jeff Larson et al.How We Analyzed the COMPAS Recidivism Algorithm, ProPublica (May 23, 2016) https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.
(2) Cambio de la marca
(3) The Loomis Case: The Use of Proprietary Algorithms at Sentencing Autor: Joe Forward.
(4) Sam Corbett-Davies et al., A Computer Program Used for Bail and Sentencing Decisions Was Labeled Biased Against Blacks. It’s Actually Not That Clear., Wash. Post: Monkey Cage (Oct. 17, 2016), https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/?noredirect=on&utm_term=.fa2ecb6503a8.
(5) Falsos positivos http://entreparentesis.org/falsos-positivos/
(6) Crime prediction software ‘adopted by 14 UK police forces’. Autor: (Febrero 2019)
(7) How Maths can get you locked up https://www.bbc.com/news/magazine-37658374 Autor: Simon Maybin (2016)
(8) COMPAS and cognitive bias – Injustice Ex Machina: Predictive Algorithms in Criminal Sentencing(artículo publicado por la revista Law Review de la UCLA) Autor: Andrew Lee Park – 2019 UCLA School of Law JD Candidate