Los vaivenes de la política pública de datos


Por María Gabriela Larrauri(*)

La Secretaría de Innovación Pública de la Nación acaba de anunciar que creará una nube estatal para custodiar datos. La inversión inicial para este “nuevo modelo estratégico” sería de más de 500 millones de pesos y su administración estará a cargo de ARSAT.

Paralelamente la Municipalidad de Córdoba acaba de firmar un convenio con Amazon para trasladar sus sistemas, inicialmente el tributario, a la nube que administra esta firma internacional. Esto hace suponer que ARSAT no tiene ya más capacidad para dar servicios que habitualmente provee a organismos públicos, incluidos algunos municipios. Y además ¿Qué pasa con el polo tecnológico Córdoba?

Se podría decir que quizá existe una demanda insatisfecha que ARSAT se propone cubrir. Pero más allá del mercado, y del liderazgo de Amazon en la provisión de servicios de nube, es bueno pensar si como país tenemos una política pública consistente en un ámbito de central importancia en el contexto de la Sociedad de la Información, cómo es el desarrollo de infraestructura tecnológica y el manejo de los datos, y en particular, los datos públicos. Existen muestras evidentes de inconsistencia y de permanente discontinuidad en este ámbito que debería ser política de estado, sin sujeción a disputas partidarias y en un marco de extrema transparencia. Siendo un ámbito altamente estratégico por qué no trazar esquemas de cooperación público-privado, o mecanismos de flexibilización para las empresas nacionales y de paso fortalecer o propiciar los desarrollos locales siempre escuetos por el tamaño de nuestro mercado. El modelo Silicon Valley sigue siendo una referencia.

Podría existir además un planteo de fondo: ¿Queremos que sea el Estado, en cualquiera de sus formas, el que tenga cierto control, administración o custodia de nuestros datos? ¿Dónde nos paramos entre el mercado y el Estado en este punto? ¿Podemos integrar las miradas? Cualquiera sea la respuesta, el problema es que como sociedad no nos damos espacio para estos debates, y las cosas suceden sin una construcción colectiva que nos permita revalorizar el espacio de la política. Confieso, yo no tengo una posición definida en este punto, y quizás abrir el tema nos ayuda a muchos a comprender y a evitar cierto recelo.

En el transcurso de los últimos siglos los contornos del Estado han sido el fruto de procesos y movimientos de expansión y reducción de espacios y competencias, siempre dentro de una forma de organización social compatible con el sistema capitalista, con o sin democracia. Existe una serie de atributos que definen al Estado moderno, tales como la organización del poder y del territorio, su soberanía, el monopolio del uso legítimo de la fuerza y primordialmente su capacidad de conformar una identidad colectiva. Estos atributos clásicos, que ciertamente se han relativizado con el paso del tiempo, no son arbitrarios, conforman el ser del Estado para la articulación de relaciones sociales en el marco de un orden económico determinado que pretende responder al interés general. Es desde este lugar, quizá lejano frente a tanta crisis, que como sociedad seguimos esperando respuestas y soluciones que están más ceñidas al bien común que a la lógica implacable del mercado.

En su libro Inteligencia Artificial o el Desafío del Siglo, Sadin describe cómo las grandes naciones del S. XVII cobraron vida por la ambición de gobernar pragmáticamente sobre bases racionales. El Estado debía definir métodos apropiados para alcanzar sus objetivos, entre otros reconocer el territorio y definir la contribución para su sostenimiento. Con el paso del tiempo la información recolectada requirió herramientas cada vez más sofisticadas. En el S. XIX se dirá que “la estadística es una conciencia de sí colectiva” y esto permitirá ver en movimiento la vida de las naciones. En el S. XX la estadística ya no solo contribuye a respaldar políticas públicas, sino también actores económicos. Progresivamente, la mayor parte de los sectores van a generar datos digitales.

Hoy disponemos de datos a escala planetaria y de máquinas que tratan masas de datos y que pueden ellas mismas iniciar operaciones según criterios previamente definidos. Podemos “cartografiar” prácticamente todo lo existente y más, consumos, emociones, sentimientos, preferencias que generan datos que están continuamente sometidos a análisis y no necesariamente por la organización estatal. En esta inflación de datos, son principalmente algunos pocos gigantes tecnológicos, extractivistas de datos, los que se benefician. No estoy segura que ello contribuya al bien común. No solo se trata del juego inocente de la innovación. Expresa Sadin “… lo que parece estar estructurándose son lógicas tecno-económicas que determinan un principio de gobernanza con objetivos únicamente utilitaristas en un proceso de racionalidad extrema donde lo humano no tiene cabida. Así, los seres humanos estamos atrapados en las mallas del Leviatán de nuestra era, algorítmico, formalizado en mecanismos a los cuales, por el supuesto bien de todos, se les otorga el derecho de actuar por sí mismos, sin apelar a nuestro consentimiento y sin capacidad de oponer resistencia”.

 

 (*) Texto e imagen publicados el 28-03-2021 en diario LaVoz  (https://www.lavoz.com.ar/opinion/vaivenes-de-politica-publica-de-datos)

El derecho a la ciudad – A propósito del envío de fondos de Nación a municipìos


Por María Gabriela Larrauri

Este fin de semana de carnaval, nos enteramos del envío de fondos directos por parte de la Nación a unos 300 municipios de todo el país, de los cuales 35 serían de Córdoba(1). ¿Significa el reconocimiento de la autonomía municipal o esconde una estrategia puramente electoral? Quizás está empezando a permear el rol clave de los gobiernos locales y la necesidad de fondos “propios” para los retos que enfrentan.

Si fuera algo más que una estrategia electoral o puro disciplinamiento organizacional, sería deseable la estructuración de una política pública que le permita a los municipios y comunas contar con los recursos que requieren dada la consolidación del proceso de urbanización global. No como una “gracia” del soberano sino en un esquema de legitimidad y legalidad. Como sabemos, más de la mitad de la población mundial vive en ciudades y esta tendencia se incrementará en las próximas décadas.

El hecho urbano, las denominadas megalópolis o meta-ciudades, corredores urbanos o ciudades-región, se conforma por nodos que articulan una geografía –más o menos-  extensa y un volumen demográfico sin precedentes. Sin embargo, la urbanización no es solo un hecho demográfico, es también una construcción social y cultural. En Latinoamérica, el 80 % de la población vive en zonas urbanas. En Argentina, el 93% de sus habitantes reside en alguna ciudad, pero solo 4 ó 5 de ellas cuenta con más de 1 millón de habitantes. No solo somos la región más desigual del mundo sino también la más urbanizada. Inclusión, cohesión social, educación y acceso universal a los beneficios del desarrollo urbano es el imperativo que marca la agenda de trabajo de los gobiernos locales.

Adormecidos, seguimos viviendo en un estado de excepción por “razones sanitarias”, que no son menores ni excluyentes. Los complejos desafíos que hoy se enfrentan ponen de relieve la necesidad de (re)pensar el derecho a la ciudad, más aun si consideramos que los espacios urbanos consolidados, constituyen polos de atracción potentes para el desarrollo cultural, la innovación y las oportunidades laborales. Son territorios llenos de potencialidades, de ilusión y de tensión.El desafío es hacer realidad el “derecho a la ciudad” en las sociedades urbanas actuales, diversas y polarizadas, luminosas y oscuras, en las que se estructuran vínculos productivos virtuosos, y tanto o más, desigualdades que generan una fuerte conflictividad social.

No hay una conceptualización clara de este derecho, al menos, no es posible afirmar que se trate de un concepto unívoco o de consenso universal. Su formulación teórica inicial se atribuye a Henry Lefebvre en el marco de las protestas urbanas que se dieron en el mayo francés, pero a partir de allí la noción de “derecho a la ciudad” ha tenido distintos recorridos hasta su tímida incorporación en la Nueva Agenda Urbana en la Conferencia de Naciones Unidas -Habitat III- celebrada en Quito en 2016. La conceptualización de Lefebvre implicó en su época, una fuerte crítica a la tecnocracia de lo urbano. Como contrapropuesta a una definición funcional de la ciudad, Lefebvre construye una teoría que busca rescatar, a través del derecho a la ciudad, al hombre como elemento principal y protagonista del espacio que él mismo ha moldeado. El hombre urbano es algo más complejo que algunas necesidades simplistas, que dejan fuera el deseo, lo lúdico, lo simbólico, lo imaginativo y otras necesidades por descubrir (Gaviria, 1969).

El impacto de esta pandemia y las diversas estrategias de prevención han vuelto la mirada a los espacios de cercanía. Casi como un pequeño gesto de poesía ante tanta incertidumbre. El confinamiento y la imposibilidad de movilizarnos, ha permitido revalorizar el espacio donde se desarrolla la vida cotidiana, donde se conjugan y resuelven necesidades básicas. Quizá también nos permita gestionar una nueva manera de vivir en la sociedad urbana, ahora que hemos recuperado cierta consciencia de que nada puede existir sin intercambio, sin aproximación, sin proximidad, es decir sin relaciones. La ciudad crea una situación, la situación urbana (Lefebvre) y razones de salud o seguridad pública no habilitan a convertir ese espacio de convivencia común en un territorio sitiado, militarizado o disciplinado.

Se sostiene que el derecho a la ciudad es el derecho de los habitantes urbanos a construir, decidir y crear la ciudad, y no se compone de la suma de derechos individuales sino de la producción social del espacio, donde habitar constituye una actividad social que otorga a los ciudadanos identidad urbana y los habilita para la participación política. Esta mirada tan íntima y cercana de lo urbano que propone Lefebvre, potenciada en pandemia, nos desafía a crear ciudad y a recuperar nuestras libertades, es lo que debemos contagiar para recobrar al prójimo, con todos los cuidados que cada uno y el otro requieran.Para crear ciudad y fortalecer el federalismo, más allá del slogan, es necesario integrar la ciudad y su gente, proponer canales de diálogo y sustancialmente rendir cuentas, no alcanza la discrecional generosidad del Estado nación en la coyuntura de un año electoral.

Como señala Agamben “no perdamos la dimensión social y política… ni humana y afectiva” en la que quedamos atrapados por las crisis, exijamos como ciudadanos urbanos derechos plenos a construir, decidir, crear nuestras ciudades y vivir en libertad.

 

  * Texto e imagen publicados el 17-02-2021 en diario LaVoz  (https://www.lavoz.com.ar/opinion/derecho-a-ciudad/)

Algoritmos, controversias y leyes de la naturaleza – parte II

 

Por Adela P. Depetris

Del debate (1) alrededor del algoritmo predictivo COMPAS, surge que: la sociedad es quien debería estar en condiciones de decidir sobre qué deben priorizar los algoritmos en cada caso.

“Cortes, bancos y otras instituciones estan usando sistemas de análisis de datos automatizado para tomar decisiones sobre tu vida. No dejemos a los productores de algoritmos decidir si lo están haciendo bien o no.” dice Matthias Spielkamp en su artículo “Inspecting algorithmos for bias” (2) que se usó como referencia para esta nota.

Y agrega: “Todo algoritmo tendrá sesgos, ya que después de todo está realizando una predicción basada en estadísticas generales, no en situaciones individuales. Pero así y todo podríamos usar tales sistemas para guiar decisiones que sean más sabias y justas que aquellas que los humanos tendemos a realizar por nosotros mismos”. Los sistemas de Toma de Decisiones Automatizada, (ADM por su sigla en inglés,  Automated Decision-Making)  grupo al que pertenece el software COMPAS, pueden ayudar en casos en que la toma de decisiones ¨humana” pudiera ser incoherente y necesitara ser supervisada. Como ejemplo, un estudio de la Academia de ciencias de EEUU que demuestra que los jueces eran más proclives a otorgar libertad bajo palabra a convictos que eran presentado a la mesa examinadora luego de una pausa para refrigerio: (3).

“El hecho que la mayoria de los ADM sean cajas negras para las personas afectadas por ellos no es una ley de la naturaleza” dice en su manifesto(4). Algorithm Watch. Es una ONG co-fundada por Matthias Spielkamp, con sede en Berlín, que estudia los riesgos y las oportunidades del uso de algoritmos. Propone preguntarse y responder, qué deberiamos hacer para tener un mejor manejo de los ADMs:

Si aceptáramos que los algoritmos podrían hacer la vida más justa si están bien diseñados, ¿cómo podríamos saber y discernir si están bien diseñados o no?

    • Las sociedades que se dicen democráticas deberían estar ya trabajando para determinar qué grado de transparencia se espera de los ADMs.
      (Necesitamos nuevas regulaciones para el software para asegurar que pueda ser adecuadamente inspeccionado).
    • Abogados, jueces y un público informado en general deberían tener cabida en definir qué medidas de equidad y juego limpio son priorizadas en los algoritmos.
      (Y, si los algoritmos no reflejaran estos valores, definir quién debería rendir cuenta).
    • Lo que es importante es que las sociedades y no exclusivamente los constructores de algoritmos hagan los juicios de valor que se hallan en los ADMs.

 

Fuentes:
(1) Algoritmos, controversias y leyes de la naturaleza – Parte I
(2) https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ by Matthias Spielkamp, 2017 MIT Technology Review
(3) Factores externos en decisiones judiciales (Extraneous factors in judicial decisions) Autores: Shai Danziger, Jonathan Levav, Liora Avnaim-Pesso y otros – Academia Nacional de Ciencias de los Estados Unidos.
(4) https://algorithmwatch.org/en/what-we-do/

Algoritmos, controversias y leyes de la naturaleza – parte I

Por Adela P. Depetris

El impactante y provocador subtítulo de la nota(*) publicada hace tres años por ProPublica, rezaba: “Hay un software usado en todo el país que predice futuros criminales. Y está sesgado en contra de los negros”. La reconocida organización (dedicada al periodismo investigativo en EEUU y ganadora de varios premios Pulitzer) publicó además y en simultáneo su documento de investigación sobre el conflictivo software: “Cómo analizamos el algoritmo de reincidencias COMPAS” – (1)

Después de estudiar más de diez mil casos en Florida en los que el defendido fue sentenciado con la asistencia del software COMPAS, ProPublica demostró que existía un sesgo contra los defendidos afroamericanos. Sus conclusiones fueron dos: (a) era más probable que afroamericanos fueran incorrectamente juzgados como con mayor riesgo de reincidencia y (b) era más probable que defendidos blancos fueran incorrectamente evaluados como de bajo riesgo de reincidencia, con lo que inició un amplio debate.

El debate en cinco puntos:

1. COMPAS (acrónimo de Correctional Offender Management Profiling for Alternative Sanctions) es un software que asigna puntajes de riesgo de reincidencia criminal a partir de un cuestionario de más de 100 preguntas que debe completar toda persona arrestada en varios estados del país del norte. El software contiene un algoritmo que genera, basado en las respuestas, un puntaje entre 1 y 10. Guiados por él, los jueces toman decisiones sobre el futuro de imputados y convictos. La idea es que un algoritmo que utiliza gran cantidad de información sobre la persona arrestada puede ayudar a tomar decisiones menos subjetivas, menos afectadas por el posible error humano, sesgos, o racismo.

2. El software es propiedad de la empresa Northpointe (nombre de marca cambiado a Equivant recientemente ) (2) que, por razones de competencia comercial, no comparte el código fuente, por lo que no puede conocerse de qué manera(con qué formulas) el algoritmo calcula el puntaje a partir de las respuestas al cuestionario.

3. La Corte Suprema de Wisconsin (State vs Loomis)(3) estableció que, si es usado correctamente,  la consideración del puntaje de riesgo de COMPAS al momento de la sentencia no viola los derechos de las personas a un debido proceso. Que no puede confiarse en COMPAS de forma excluyente. Y que en el futuro el uso del puntaje de riesgo debía acompañarse con un aviso explicando sus limitaciones. Por ejemplo que el puntaje está basado en estadísticas a través de la comparación de datos de las conductas de personas de grupos poblacionales similares al del defendido, pero no está basado en la persona particular en consideración y que el algoritmo detras del sistema asi como la forma en que otros factores son ponderados son datos mantenidos sin revelar (al defendido y a los jueces) debido a la naturaleza propietaria de la herramienta.

4. Volviendo al informe de análisis publicado por ProPública, NorthPointe en su respuesta de descargo a dicho informe, argumentó que los periodistas habían interpretado mal los datos, y que no existía tal sesgo en el algoritmo que perjudicaría a la minoría afroamericana.

5. Finalmente, ante la controversia, un grupo de investigadores de Stanford estudió la polémica y publicó su informe en el blog del WashingtonPost (4):

El problema no es explícitamente sesgo racial, ya que COMPAS no utiliza la raza como un factor en su puntaje de riesgo. El problema, de acuerdo con los investigadores, surge, en primer lugar, de las nociones contrapuestas de justicia/equidad elegidas por las partes en disputa.

  • El modelo COMPAS trata de conseguir equidad logrando una misma tasa de aciertos para todos los defendidos al predecir quienes reincidirán y de hecho reinciden: esta tasa es del 60 % de aciertos en sus puntajes sea el defendido blanco o afroamericano -. Debido a esta igualdad en la tasa de aciertos al predecir reincidencia, es que Northpointe afirma que su algoritmo es justo y que ha diseñado el algoritmo para este objetivo (lo que se conoce como “paridad predictiva”).
  • Por otro lado, y sin negar esos números, ProPublica aleja la mira de los reincidentes y ante el mismo conjunto de casos, considera en cambio el subconjunto de aquellos que habiéndose predicho que reincidirían finalmente no lo hicieron (falsos positivos(5)). Bajo este lente, los defendidos de color eran casi dos veces más proclives a ser clasificados equivocadamente durante el proceso como de riesgo “medio” o “alto” por COMPAS, -aún cuando eventualmente lograran su camino a la liberación. Este es el criterio de equidad que Propublica reclamaba como faltante, contrapuesto al de NorthPointe.

Según el informe citado es matemáticamente imposible para un modelo de puntajes de riesgo, satisfacer ambos criterios de equidad al mismo tiempo. Podemos verlo gráficamente como un dial. Girar el dial hacia un lado, erosiona la exactitud del otro lado. En tanto COMPAS calibre su algoritmo de acuerdo a su noción de equidad, la incongruencia notada por ProPublica ocurrirá inevitablemente.

Lo significativo es que en un algoritmo de justicia como el que se trata aquí, falsos negativos pueden afectar la vida de personas inocentes y deben ser chequeados de acuerdo a ese potencial impacto. “Los beneficios obtenidos cuando COMPAS acierta, ¿valen el precio que pagan los defendidos afroamericanos cuando COMPAS no acierta?”-se pregunta ProPublica. Dado el potencial de expansión del uso de COMPAS, (ya en febrero de 2019, software predictivo de esta especie comenzó a ser usado -por catorce fuerzas policiales (6))- en el Reino Unido ), el verdadero interrogante es: ¿quién debería responder esa pregunta?

Respecto al sesgo racial, también hay que considerar que un algoritmo podría no tener tal sesgo en sí mismo, pero estar indirectamente reflejando sesgos raciales preexistentes en el sistema judicial y en la sociedad. Por ejemplo, el cuestionario de COMPAS no contiene preguntas sobre raza, lo que en teoría significaría menos decisiones influenciadas por racismo, aunque sí contiene preguntas sobre arrestos anteriores o sobre la existencia de arrestos en la familia que son más factibles de ser respondidas positivamente por los grupos minoritarios que por blancos, dice Angwin abogada de ProPublica en el artículo para la BBC escrito por Simon Maybin(7).

Sabemos que el proceso de creación de un algoritmo se basa ampliamente en el mecanismo de machine learning. Se parte del diseño de una función matemática que intenta representar la relación entre distintas variables que influyen sobre un problema dado que se quiere modelizar. Para probar el acierto de la función y mejorarla, se debe contar con una cantidad enorme y fidedigna de datos históricos que también en un punto se utilizarán para corroborar su grado de acierto. De esta manera la creación de los algoritmos es completada con datos producidos, seleccionados y depurados por humanos, y si los datos a los que se puede acceder, están teñidos de sesgos históricos y estructurales, se trasladarán a la producción resultante. (8).

Todo en estas controversias y debates que se derivaron, indican que es la sociedad -incluso más allá de las cortes, abogados, técnicos, público informado- quien deberia ser ilustrada y estar en condiciones de decidir sobre qué deben priorizar los algoritmos en cada caso.

 

Fuentes:
Basado en https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ Autor: Matthias Spielkamp (2017), MITReview
(*)La nota:>https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
(1) El documento de investigación : Jeff Larson et al.How We Analyzed the COMPAS Recidivism Algorithm, ProPublica (May 23, 2016) https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.
(2) Cambio de la marca
(3) The Loomis Case: The Use of Proprietary Algorithms at Sentencing Autor: Joe Forward.
(4) Sam Corbett-Davies et al., A Computer Program Used for Bail and Sentencing Decisions Was Labeled Biased Against Blacks. It’s Actually Not That Clear., Wash. Post: Monkey Cage (Oct. 17, 2016), https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/?noredirect=on&utm_term=.fa2ecb6503a8.
(5) Falsos positivos http://entreparentesis.org/falsos-positivos/
(6) Crime prediction software ‘adopted by 14 UK police forces’. Autor: (Febrero 2019)
(7) How Maths can get you locked up https://www.bbc.com/news/magazine-37658374 Autor: Simon Maybin (2016)
(8) COMPAS and cognitive bias – Injustice Ex Machina: Predictive Algorithms in Criminal Sentencing(artículo publicado por la revista Law Review de la UCLA) Autor: Andrew Lee Park – 2019 UCLA School of Law JD Candidate

Programa RAIZ – Red Abierta Integrada de Apoyo a la Gestión Local

Los tres ejes del programa (gobierno abierto, desarrollo local, e innovación en la gestión pública) en la presentación de Gabriela Larrauri, su coordinadora:

 

La denominación “PROGRAMA RAIZ” refiere a la posibilidad de profundizar el trabajo territorial, los vínculos e interacciones al interior de la administración pero también con el medio y el entorno como elementos claves del desarrollo y la innovación. Alude igualmente a la posibilidad de ver y entender a cada municipio y comuna, como cada “RAIZ”, con sus propias necesidades y desafíos desde que se trata de reconocer y fortalecer el potencial endógeno de cada localidad y región. Entendemos que solo desde una raíz fuerte y sana al interior de cada gobierno local será posible desplegar la capacidad de iniciativa y liderazgo que requiere la construcción de un proyecto colectivo.
La Universidad Nacional de Córdoba cuenta con los recursos técnicos y profesionales, las habilidades y competencias que se requieren para capacitar, asistir y formar a quienes tienen la responsabilidad de llevar adelante la gestión pública. Se trata entonces, de abrir la Universidad a la sociedad y transferir conocimiento pero también de construir conocimiento a partir de los saberes y capacidades locales.

más información

Fuente: https://www.unc.edu.ar/extensión/objetivos-y-fundamentos-8