Reconocimiento Facial – “Las evaluaciones de impacto en la privacidad deberían ser obligatorias por ley”

Por Adela P. Depetris

El uso de la tecnología de reconocimiento facial (RF) es en la actualidad un tema de discusión en Estados Unidos y Europa debido a la forma en que se ha implementado, llegando a exponer la privacidad y seguridad de los ciudadanos. Algunas ciudades norteamericanas han prohibido su implementación. San Francisco, sede de la revolución tecnológica, prohibe en mayo de 2019 el uso del software de RF por parte de la policía y otras agencias, informa el diario The New York Times. (1) También se suma la ciudad de Berkeley, California.

El sitio web de la BBC de Londres publica en carácter de adelanto que la Unión Europea estudiaría impedir este año el uso de la tecnología de Reconocimiento Facial en el espacio público por un lapso de tres a cinco años, hasta tanto se evalúen las implicancias de su uso respecto a los derechos a la privacidad. (2) En febrero y marzo 2020 se realizarán informes y audiencias públicas sobre el tema organizadas por el consejo de los 28 paises miembros de la Unión (MEPS).

– En Argentina: invitación al Relator especial de la ONU

    • Para evaluar la situación del derecho a la privacidad en Argentina fue invitado en 2019 por el gobierno nacional un Relator de la Organización de la Naciones Unidas. El Relator especial Joseph Canatacci al cabo de su visita entre el 6 al 17 de mayo 2019 presentó un informe (3) que se encuentra publicado en el sitio web de la institución. Sin embargo se trata de un reporte preliminar ya que las conclusiones y recomendaciones finales se presentarán en su informe al Consejo de Derechos Humanos de las Naciones Unidas en marzo de 2020.
    • Unos meses antes de esta invitación, había anunciado el gobierno de la Ciudad de Buenos Aires la compra y posterior implementación y puesta en función de un software de reconocimiento facial, para localización de prófugos.(4) El software contaba al momento de la compra con 300 licencias, podía funcionar en tiempo real y simultáneo en 300 cámaras entre las 7000 con las que contaba la Ciudad en ese momento. Su uso comenzó en abril de 2019 en los andenes de trenes subterráneos y en julio de 2019 se empezó a usar en estaciones de trenes de Retiro, Once y Federico Lacroze. (5)
    • El Relator dividió su informe en seis áreas: Vigilancia, Bases de datos penales, Privacidad e infancia, Cámaras (CCTV) + Reconocimiento Facial, Protección de datos, y Datos de salud. Sobre la compra e implementación del software de RF el relator expresó:

      • “La justificación de tal sistema, su legitimidad, necesidad y proporcionalidad deberían haberse establecido mediante una evaluación del impacto en la privacidad (PIA , del inglés Privacy Impact Assessment) que no parece haberse llevado a cabo. “
      • “El hecho de que el reconocimiento facial se esté implementando sin el PIA necesario, así como la consulta deseable y las fuertes salvaguardias, también es motivo de preocupación. El Gobierno ha aprobado una reglamentación de bajo nivel en materia de biometría, pero no una legislación detallada sobre el uso del reconocimiento facial: Resolución Nro. 398/MJYSGC/19.“
      • “Las evaluaciones de impacto en la privacidad deberían ser obligatorias por ley como requisito previo para el despliegue de todas las tecnologías de vigilancia, incluidas las cámaras de vídeo-vigilancia con capacidad de reconocimiento de matrículas, faciales y de la marcha.”

  • El procedimiento en sí, también fue puesto en cuestión : “Esta tecnología tiene graves implicaciones para la privacidad de millones de personas que utilizan el espacio público, con el justificativo de buscar en una lista de aproximadamente 40 mil personas que incluye delitos que no son graves y cuya exactitud no se comprueba cuidadosamente”. Los rostros reconocidos se contrastan con una lista de prófugos que se obtiene de la base de datos CONAR. En ella habría casi un 40% de personas mal buscadas o sobre las que hay información errónea. En el caso de otro 29,5% de las personas buscadas, falta información sobre el delito por el cual se realiza la pesquisa. En la lista figuran 61 menores de edad. Contiene además otros errores. (6)

 

– Acción Declarativa de inconstitucionalidad

Fue iniciada en noviembre de 2019, contra el gobierno de la Ciudad de Buenos Aires, por la implementación del sistema de Reconocimiento Facial en el espacio público porteño. (7) Esta acción es llevada a cabo por la Asociación por los Derechos Civiles (ADC), organización no gubernamental, apartidaria y sin fines de lucro con sede en Buenos Aires que realizó denuncias, investigaciones, y dos pedidos de Acceso a la Información. Existe una página lanzada por la organización dedicada al seguimiento de estos pasos. (8)

“No se ha respetado el principio constitucional de legalidad que exige un expreso sustento legislativo para toda interferencia en derechos fundamentales, en tanto el sistema fue implementado a través de una resolución ( Resolución 389/19 de compra directa a la empresa DANAIDE S.A., el 22 de abril de 2019, por un total de 1.511.300 dólares) y no una ley con participación de la Legislatura”.(10)  No se han realizado estudios de impacto, y aún falta transparencia en la descripción de la tecnología utilizada como para poder realizar los estudios necesarios.

El debate continúa(rá)

En el New York Times se puede leer un artículo (9) de fines del 2019 donde Barry Friedman y Andrew Guthrie Ferguson (ambos profesores de leyes) buscan una salida no binaria para el problema del RF. Proponen, para habilitar su uso, cinco medidas que lo condicionan y limitan.  Y agregan realísticamente: “Con cámaras tan invasivas en los postes de las calles y en los edificios la propagación del reconocimiento facial sería un Gran Hermano hecho realidad, haciendo posible rastrear cada uno de nuestros movimientos y realizar un collage de retratos íntimos de nuestras vidas. Si, prohibirlo costaría a la policía la habilidad de aprehender a un fugitivo peligroso al vuelo. Pero permitirlo podría llevar a la vigilancia en masa que está desplegando China. La mayoría no va estar conteste con eso, ni debería estarlo.”

En Buenos Aires, el abogado y analista de políticas públicas Eduardo Ferreyra, de la ADC señala que, en el caso particular de la Ciudad y nuestro país, nunca puede desentenderse la implementación de cierta tecnología del contexto en el que se aplica: “No podemos olvidar dos características principales de América Latina en general y Argentina en particular. La primera es la existencia de sociedades fuertemente marcadas por la desigualdad. La segunda es la ausencia de respuestas eficaces por parte del Estado a las demandas sociales. La presencia de ambos fenómenos implica que el espacio público en nuestro país debe ser un lugar que favorezca expresiones críticas y no un lugar para la vigilancia y control”.” (10)

Fuentes:
(1)Berkeley prohíbe el uso de reconocimiento facial con votación anónima. Por Rosselyn Barroyeta:
https://www.tekcrispy.com/2019/10/16/berkeley-prohibe-el-uso-de-reconocimiento-facial-con-votacion-anonima/
SanFrancisco prohibe el uso del software de FR:  https://www.nytimes.com/2019/05/14/us/facial-recognition-ban-san-francisco.html
(2) https://www.bbc.com/news/technology-51148501
(3) https://www.ohchr.org/SP/NewsEvents/Pages/DisplayNews.aspx?NewsID=24639&LangID=S
(4) https://www.lanacion.com.ar/seguridad/suman-el-sistema-de-identificacion-facial-a-las-camaras-de-estaciones-ferroviariasfue-atrapado-un-acusado-por-un-ataque-sexual-nid2266958
(5) https://www.buenosaires.gob.ar/justiciayseguridad/noticias/se-implemento-el-sistema-de-reconocimiento-facial-en-ferrocarriles
(6) https://www.iprofesional.com/tecnologia/292443-inteligencia-artificial-big-data-justicia-Una-base-de-datos-con-errores-sobre-la-que-se-apoya-la-videovigilancia por Andrea Catalano
(7) https://adc.org.ar/2019/11/06/el-reconocimiento-facial-para-vigilancia-no-pertenece-a-nuestro-espacio-publico/
(8) https://adc.org.ar/2019/05/23/con-mi-cara-no-reconocimiento-facial-en-la-ciudad-de-buenos-aires/
(9)Here’s a Way Forward on Facial Recognition by Barry Friedman and Andrew Guthrie Ferguson. https://www.nytimes.com/2019/10/31/opinion/facial-recognition-regulation.html
(10) https://www.lanacion.com.ar/tecnologia/es-inconstitucional-reconocimiento-facial-porteno-nid2307648 por Valentín Muro

Algoritmos, controversias y leyes de la naturaleza – parte II

 

Por Adela P. Depetris

Del debate (1) alrededor del algoritmo predictivo COMPAS, surge que: la sociedad es quien debería estar en condiciones de decidir sobre qué deben priorizar los algoritmos en cada caso.

“Cortes, bancos y otras instituciones estan usando sistemas de análisis de datos automatizado para tomar decisiones sobre tu vida. No dejemos a los productores de algoritmos decidir si lo están haciendo bien o no.” dice Matthias Spielkamp en su artículo “Inspecting algorithmos for bias” (2) que se usó como referencia para esta nota.

Y agrega: “Todo algoritmo tendrá sesgos, ya que después de todo está realizando una predicción basada en estadísticas generales, no en situaciones individuales. Pero así y todo podríamos usar tales sistemas para guiar decisiones que sean más sabias y justas que aquellas que los humanos tendemos a realizar por nosotros mismos”. Los sistemas de Toma de Decisiones Automatizada, (ADM por su sigla en inglés,  Automated Decision-Making)  grupo al que pertenece el software COMPAS, pueden ayudar en casos en que la toma de decisiones ¨humana” pudiera ser incoherente y necesitara ser supervisada. Como ejemplo, un estudio de la Academia de ciencias de EEUU que demuestra que los jueces eran más proclives a otorgar libertad bajo palabra a convictos que eran presentado a la mesa examinadora luego de una pausa para refrigerio: (3).

“El hecho que la mayoria de los ADM sean cajas negras para las personas afectadas por ellos no es una ley de la naturaleza” dice en su manifesto(4). Algorithm Watch. Es una ONG co-fundada por Matthias Spielkamp, con sede en Berlín, que estudia los riesgos y las oportunidades del uso de algoritmos. Propone preguntarse y responder, qué deberiamos hacer para tener un mejor manejo de los ADMs:

Si aceptáramos que los algoritmos podrían hacer la vida más justa si están bien diseñados, ¿cómo podríamos saber y discernir si están bien diseñados o no?

    • Las sociedades que se dicen democráticas deberían estar ya trabajando para determinar qué grado de transparencia se espera de los ADMs.
      (Necesitamos nuevas regulaciones para el software para asegurar que pueda ser adecuadamente inspeccionado).
    • Abogados, jueces y un público informado en general deberían tener cabida en definir qué medidas de equidad y juego limpio son priorizadas en los algoritmos.
      (Y, si los algoritmos no reflejaran estos valores, definir quién debería rendir cuenta).
    • Lo que es importante es que las sociedades y no exclusivamente los constructores de algoritmos hagan los juicios de valor que se hallan en los ADMs.

 

Fuentes:
(1) Algoritmos, controversias y leyes de la naturaleza – Parte I
(2) https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ by Matthias Spielkamp, 2017 MIT Technology Review
(3) Factores externos en decisiones judiciales (Extraneous factors in judicial decisions) Autores: Shai Danziger, Jonathan Levav, Liora Avnaim-Pesso y otros – Academia Nacional de Ciencias de los Estados Unidos.
(4) https://algorithmwatch.org/en/what-we-do/

Algoritmos, controversias y leyes de la naturaleza – parte I

Por Adela P. Depetris

El impactante y provocador subtítulo de la nota(*) publicada hace tres años por ProPublica, rezaba: “Hay un software usado en todo el país que predice futuros criminales. Y está sesgado en contra de los negros”. La reconocida organización (dedicada al periodismo investigativo en EEUU y ganadora de varios premios Pulitzer) publicó además y en simultáneo su documento de investigación sobre el conflictivo software: “Cómo analizamos el algoritmo de reincidencias COMPAS” – (1)

Después de estudiar más de diez mil casos en Florida en los que el defendido fue sentenciado con la asistencia del software COMPAS, ProPublica demostró que existía un sesgo contra los defendidos afroamericanos. Sus conclusiones fueron dos: (a) era más probable que afroamericanos fueran incorrectamente juzgados como con mayor riesgo de reincidencia y (b) era más probable que defendidos blancos fueran incorrectamente evaluados como de bajo riesgo de reincidencia, con lo que inició un amplio debate.

El debate en cinco puntos:

1. COMPAS (acrónimo de Correctional Offender Management Profiling for Alternative Sanctions) es un software que asigna puntajes de riesgo de reincidencia criminal a partir de un cuestionario de más de 100 preguntas que debe completar toda persona arrestada en varios estados del país del norte. El software contiene un algoritmo que genera, basado en las respuestas, un puntaje entre 1 y 10. Guiados por él, los jueces toman decisiones sobre el futuro de imputados y convictos. La idea es que un algoritmo que utiliza gran cantidad de información sobre la persona arrestada puede ayudar a tomar decisiones menos subjetivas, menos afectadas por el posible error humano, sesgos, o racismo.

2. El software es propiedad de la empresa Northpointe (nombre de marca cambiado a Equivant recientemente ) (2) que, por razones de competencia comercial, no comparte el código fuente, por lo que no puede conocerse de qué manera(con qué formulas) el algoritmo calcula el puntaje a partir de las respuestas al cuestionario.

3. La Corte Suprema de Wisconsin (State vs Loomis)(3) estableció que, si es usado correctamente,  la consideración del puntaje de riesgo de COMPAS al momento de la sentencia no viola los derechos de las personas a un debido proceso. Que no puede confiarse en COMPAS de forma excluyente. Y que en el futuro el uso del puntaje de riesgo debía acompañarse con un aviso explicando sus limitaciones. Por ejemplo que el puntaje está basado en estadísticas a través de la comparación de datos de las conductas de personas de grupos poblacionales similares al del defendido, pero no está basado en la persona particular en consideración y que el algoritmo detras del sistema asi como la forma en que otros factores son ponderados son datos mantenidos sin revelar (al defendido y a los jueces) debido a la naturaleza propietaria de la herramienta.

4. Volviendo al informe de análisis publicado por ProPública, NorthPointe en su respuesta de descargo a dicho informe, argumentó que los periodistas habían interpretado mal los datos, y que no existía tal sesgo en el algoritmo que perjudicaría a la minoría afroamericana.

5. Finalmente, ante la controversia, un grupo de investigadores de Stanford estudió la polémica y publicó su informe en el blog del WashingtonPost (4):

El problema no es explícitamente sesgo racial, ya que COMPAS no utiliza la raza como un factor en su puntaje de riesgo. El problema, de acuerdo con los investigadores, surge, en primer lugar, de las nociones contrapuestas de justicia/equidad elegidas por las partes en disputa.

  • El modelo COMPAS trata de conseguir equidad logrando una misma tasa de aciertos para todos los defendidos al predecir quienes reincidirán y de hecho reinciden: esta tasa es del 60 % de aciertos en sus puntajes sea el defendido blanco o afroamericano -. Debido a esta igualdad en la tasa de aciertos al predecir reincidencia, es que Northpointe afirma que su algoritmo es justo y que ha diseñado el algoritmo para este objetivo (lo que se conoce como “paridad predictiva”).
  • Por otro lado, y sin negar esos números, ProPublica aleja la mira de los reincidentes y ante el mismo conjunto de casos, considera en cambio el subconjunto de aquellos que habiéndose predicho que reincidirían finalmente no lo hicieron (falsos positivos(5)). Bajo este lente, los defendidos de color eran casi dos veces más proclives a ser clasificados equivocadamente durante el proceso como de riesgo “medio” o “alto” por COMPAS, -aún cuando eventualmente lograran su camino a la liberación. Este es el criterio de equidad que Propublica reclamaba como faltante, contrapuesto al de NorthPointe.

Según el informe citado es matemáticamente imposible para un modelo de puntajes de riesgo, satisfacer ambos criterios de equidad al mismo tiempo. Podemos verlo gráficamente como un dial. Girar el dial hacia un lado, erosiona la exactitud del otro lado. En tanto COMPAS calibre su algoritmo de acuerdo a su noción de equidad, la incongruencia notada por ProPublica ocurrirá inevitablemente.

Lo significativo es que en un algoritmo de justicia como el que se trata aquí, falsos negativos pueden afectar la vida de personas inocentes y deben ser chequeados de acuerdo a ese potencial impacto. “Los beneficios obtenidos cuando COMPAS acierta, ¿valen el precio que pagan los defendidos afroamericanos cuando COMPAS no acierta?”-se pregunta ProPublica. Dado el potencial de expansión del uso de COMPAS, (ya en febrero de 2019, software predictivo de esta especie comenzó a ser usado -por catorce fuerzas policiales (6))- en el Reino Unido ), el verdadero interrogante es: ¿quién debería responder esa pregunta?

Respecto al sesgo racial, también hay que considerar que un algoritmo podría no tener tal sesgo en sí mismo, pero estar indirectamente reflejando sesgos raciales preexistentes en el sistema judicial y en la sociedad. Por ejemplo, el cuestionario de COMPAS no contiene preguntas sobre raza, lo que en teoría significaría menos decisiones influenciadas por racismo, aunque sí contiene preguntas sobre arrestos anteriores o sobre la existencia de arrestos en la familia que son más factibles de ser respondidas positivamente por los grupos minoritarios que por blancos, dice Angwin abogada de ProPublica en el artículo para la BBC escrito por Simon Maybin(7).

Sabemos que el proceso de creación de un algoritmo se basa ampliamente en el mecanismo de machine learning. Se parte del diseño de una función matemática que intenta representar la relación entre distintas variables que influyen sobre un problema dado que se quiere modelizar. Para probar el acierto de la función y mejorarla, se debe contar con una cantidad enorme y fidedigna de datos históricos que también en un punto se utilizarán para corroborar su grado de acierto. De esta manera la creación de los algoritmos es completada con datos producidos, seleccionados y depurados por humanos, y si los datos a los que se puede acceder, están teñidos de sesgos históricos y estructurales, se trasladarán a la producción resultante. (8).

Todo en estas controversias y debates que se derivaron, indican que es la sociedad -incluso más allá de las cortes, abogados, técnicos, público informado- quien deberia ser ilustrada y estar en condiciones de decidir sobre qué deben priorizar los algoritmos en cada caso.

 

Fuentes:
Basado en https://www.technologyreview.com/s/607955/inspecting-algorithms-for-bias/ Autor: Matthias Spielkamp (2017), MITReview
(*)La nota:>https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
(1) El documento de investigación : Jeff Larson et al.How We Analyzed the COMPAS Recidivism Algorithm, ProPublica (May 23, 2016) https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.
(2) Cambio de la marca
(3) The Loomis Case: The Use of Proprietary Algorithms at Sentencing Autor: Joe Forward.
(4) Sam Corbett-Davies et al., A Computer Program Used for Bail and Sentencing Decisions Was Labeled Biased Against Blacks. It’s Actually Not That Clear., Wash. Post: Monkey Cage (Oct. 17, 2016), https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/?noredirect=on&utm_term=.fa2ecb6503a8.
(5) Falsos positivos http://entreparentesis.org/falsos-positivos/
(6) Crime prediction software ‘adopted by 14 UK police forces’. Autor: (Febrero 2019)
(7) How Maths can get you locked up https://www.bbc.com/news/magazine-37658374 Autor: Simon Maybin (2016)
(8) COMPAS and cognitive bias – Injustice Ex Machina: Predictive Algorithms in Criminal Sentencing(artículo publicado por la revista Law Review de la UCLA) Autor: Andrew Lee Park – 2019 UCLA School of Law JD Candidate