Dos padres, uno en San Francisco y otro en Houston, fueron investigados por la policía bajo sospecha de abuso y explotación infantil después de usar teléfonos Android (de Google) para tomar fotos de los genitales de sus hijos con fines médicos. Aunque en ambos casos la policía determinó que los padres no habían cometido ningún delito, Google no llegó a la misma conclusión: desactivó permanentemente sus cuentas en todas sus plataformas, según un reportaje de The New York Times.
Estos incidentes resaltan lo que puede salir mal con la tecnología automática de detección y reportes de fotos, y el territorio espinoso en el que se adentran las empresas de tecnología cuando comienzan a confiar en ella. Sin contexto, distinguir una imagen inocente de un abuso puede ser casi imposible, incluso con la participación de evaluadores humanos.
Google, como muchas empresas y plataformas online, utiliza PhotoDNA de Microsoft, una herramienta de detección algorítmica para detectar con precisión fotos de abuso. Según los datos presentados por la propia empresa, Google identificó 287.368 casos de sospecha de abuso solo en los primeros seis meses de 2021. Según Google, esos informes de incidentes provienen de múltiples fuentes, sin limitarse a la herramienta automatizada PhotoDNA.“En Google, nuestros equipos trabajan las 24 horas para identificar, eliminar y denunciar este contenido mediante una combinación de herramientas de detección automática líderes en la industria y revisores especialmente capacitados. También recibimos informes de terceros y de nuestros usuarios, que complementan nuestro trabajo en curso”, se lee en un comunicado en el sitio web de Google.
Algunos defensores de la privacidad, como la fundación libertaria Electronic Frontier, se han opuesto abiertamente a la expansión de estas tecnologías de detección. Sin embargo, el abuso y la explotación sexual infantil es (con razón) un tema particularmente difícil en torno al cual abogar por la privacidad por encima de todo.
Lo que parece claro es que ningún sistema de detección automatizado es perfecto, los reportes falsos de detecciones de abuso son inevitables, y es probable que las empresas necesiten un mejor mecanismo para lidiar con ellos.
Según el Times, en el caso de San Francisco, Mark (cuyo apellido se ha ocultado), tomó fotos de la ingle de su niño pequeño para documentar una inflamación, después de notar que su hijo estaba experimentando dolor en la región. Su esposa programó después una videoconsulta de emergencia con un médico para la mañana siguiente. Era febrero de 2021 y, en esa etapa de la pandemia, ir personalmente a un consultorio médico, a menos que fuera absolutamente necesario, generalmente era desaconsejable.
La enfermera de triaje solicitó que se enviaran fotos con anticipación, para que el médico pudiera revisarlas antes. La esposa de Mark se envió a sí misma un mensaje de texto con las fotos desde el teléfono de su esposo y luego las cargó desde su dispositivo al sistema de mensajes del proveedor médico. El médico le recetó antibióticos y el niño mejoró.
Sin embargo, dos días después de tomar las fotos de su hijo, Mark recibió una notificación de que su cuenta había sido inhabilitada por “contenido dañino” que suponía una “violación grave de las políticas de Google y podría ser ilegal”, informó el Times. Mark apeló la decisión, pero la apelación fue rechazada.
Simultáneamente, aunque Mark aún no lo sabía, Google también denunció las fotos a la CyberTipline del Centro Nacional para Niños Desaparecidos y Explotados, que elevó el informe a las fuerzas del orden. Diez meses después, Mark recibió un aviso del Departamento de Policía de San Francisco de que había sido investigado por las fotos y un informe de Google. La policía había emitido órdenes de registro a Google solicitando todo lo que había en la cuenta de Mark, incluidos sus mensajes, fotos y videos almacenados, búsquedas en Internet y datos de ubicación.
Los investigadores concluyeron que no se había producido ningún delito y la investigación se cerró cuando Mark se enteró de que había sucedido. Mark intentó usar el informe policial para apelar a Google nuevamente y recuperar su cuenta, pero su solicitud fue denegada nuevamente.
Aunque parece un pequeño incidente en comparación con la posibilidad de que exista abuso infantil, según los informes, la pérdida de la cuenta de Google de Mark fue una gran molestia. Del Times:
´´No solo perdió correos electrónicos, información de contacto de amigos y antiguos colegas y documentación de los primeros años de vida de su hijo, sino que su cuenta de Google Fi fue cerrada, lo que significa que tuvo que obtener un nuevo número de teléfono con otro proveedor. Sin acceso a su antiguo número de teléfono y dirección de correo electrónico, no pudo obtener los códigos de seguridad que necesitaba para iniciar sesión en otras cuentas de Internet, lo que bloqueó gran parte de su vida digital´´.
“Cuantos más huevos tengas en una canasta, es más probable que la canasta se rompa”, dijo.
En el caso muy similar de Houston, Texas, reportado por el Times, un pediatra le pidió a otro padre que tomara fotos de las “partes íntimas” de su hijo para diagnosticar una infección. Esas imágenes se respaldaron automáticamente en Google Photos (nota: el almacenamiento automatizado en la nube no siempre es una buena idea) y el padre las envió a su esposa a través de Google Messenger. La pareja estaba en medio de la compra de una nueva casa en ese momento, y debido a que las imágenes finalmente llevaron a que se deshabilitara la dirección de correo electrónico del padre, la pareja enfrentó complicaciones adicionales”.
En una declaración enviada por correo electrónico, un portavoz de Google dijo a Gizmodo lo siguiente:
´´El material de abuso sexual infantil (CSAM, por sus siglas en inglés) es abominable y estamos comprometidos a evitar que se propague en nuestras plataformas. Seguimos la ley de Estados Unidos para definir lo que constituye CSAM y usamos una combinación de tecnología de comparación de hash e inteligencia artificial para identificarlo y eliminarlo de nuestras plataformas. Además, nuestro equipo de expertos en seguridad infantil revisa el contenido marcado para verificar su precisión y consulta con pediatras para ayudar a garantizar que podamos identificar los casos en los que los usuarios pueden estar buscando asesoramiento médico. Los usuarios tienen la capacidad de apelar cualquier decisión, nuestro equipo revisa cada apelación, y restableceremos una cuenta si se ha cometido un error´´.
Aunque parece que se han cometido errores en estos dos casos, y obviamente Google no restableció las cuentas en cuestión. Las repercusiones probablemente podrían haber sido peores que solo cuentas eliminadas.
Es difícil “dar cuenta de las cosas que son invisibles en una foto, como el comportamiento de las personas que comparten una imagen o las intenciones de la persona que la toma”, dijo Kate Klonick, abogada y profesora de derecho especializada en la privacidad en la Universidad de St. John, al NYT. “Esto sería problemático si fuera solo un caso de moderación y censura de contenido”, agregó Klonick. “Pero es doblemente peligroso porque también resulta en que alguien sea denunciado ante las fuerzas del orden”.
Algunas empresas parecen ser muy conscientes de la complejidad y el posible peligro que representan las herramientas de detección automática. Apple anunció su propio sistema de detección de CSAM en 2021. Sin embargo, después de una reacción violenta de los expertos en seguridad, la compañía retrasó sus planes antes de aparentemente descartarlos por completo.