Así funciona Flock, la plataforma que convierte cámaras de vigilancia en un buscador de personas

Algunos expertos consideran que ciertas decisiones son más difíciles de defender que otras. El sistema de Flock evalúa la descripción escrita de un agente en función de varias categorías de contenido sensible, como raza y religión. La “expresión política, social y cultural” es la única que no impide una búsqueda.

Tom Bowman, asesor de políticas del proyecto de vigilancia de seguridad del Centro para la Democracia y la Tecnología, afirma que la única categoría sensible que Flock trata como un “freno de velocidad” en lugar de una “parada” es precisamente la que los tribunales han protegido con mayor celo. La expresión política y cultural es “una de las áreas más protegidas” por la Primera Enmienda, señala, y “parece que, en realidad, es la que menos preocupa desde el punto de vista policial”.

WIRED envió a Flock una descripción detallada de cada uno de sus hallazgos junto con 16 preguntas. La empresa respondió con una declaración por escrito en la que declara que sus herramientas de búsqueda están diseñadas para ayudar a la policía a encontrar información relevante “manteniendo al mismo tiempo claras salvaguardias sobre cómo se puede utilizar la tecnología”. Las consultas se evalúan según sus políticas de contenido, añade. La declaración no describe cómo se construyó su modelo de IA, a partir de qué instrucciones funciona ni qué diferencia un veredicto de otro.

Los datos fluyen en ambas direcciones. Cuando el software señala una búsqueda, envía a Flock el lenguaje que utilizó el agente, la categoría y la puntuación de confianza que el modelo le asignó. También envía la acción que el agente realizó en seguida, ya sea continuar, desestimar o impugnar la advertencia. La declaración de Flock no aborda cuánto tiempo se conservan esos registros, quién dentro de la empresa puede verlos ni si se utilizan para evaluar o mejorar el sistema de moderación.

Cada voto cuenta

La interfaz de Flock cuenta con varias herramientas, y cada una funciona de manera diferente. Una búsqueda que utiliza texto para encontrar imágenes, por ejemplo, genera una clasificación estadística de las imágenes que mejor se ajustan a las palabras. Cada imagen que capta una cámara se almacena como un conjunto de números que describen lo que muestra, y cualquier descripción introducida en el cuadro de búsqueda se convierte en números de la misma manera. A continuación, un modelo compara ambos datos y clasifica las imágenes más parecidas en los primeros puestos. Cualquier elemento que pudiera influir de otro modo en la clasificación (filtros adicionales, umbrales o instrucciones introducidas en el modelo de Flock) permanece oculto en los servidores de la empresa.

Una función llamada “Smart Sort” (Clasificación inteligente) permite al agente aprobar o rechazar cada imagen que aparece en los resultados. Unos pocos votos reorganizan la clasificación, situando en los primeros puestos las imágenes que se asemejan a las aprobadas. “¿Demasiados resultados?”, pregunta una información emergente. “Vota por algunos resultados para refinar rápidamente la búsqueda”.

Un agente que busca un vehículo elige entre menús de colores, tipos de carrocería, marcas, modelos y características como barras de techo y calcomanías en el parachoques. La búsqueda de personas, por el contrario, no incluye ningún filtro y solo admite una descripción escrita. Un ejemplo que ofrece el sistema: “persona con bata quirúrgica”. Flock denomina a esta búsqueda en lenguaje coloquial “FreeForm” y señala que lleva años comercializándola. 404 Media informó en julio que los agentes usaban FreeForm para buscar personas a partir de descripciones de ropa y tatuajes.

La búsqueda estándar de vehículos y FreeForm son funciones independientes, según Flock: la búsqueda estándar se basa en atributos definidos del vehículo, mientras que FreeForm se basa en descripciones en lenguaje natural. En el caso de las cámaras de video, según la empresa, FreeForm busca “ropa, colores, objetos u otros detalles relevantes para el caso”. En las cámaras de matrículas, la búsqueda se limita a los vehículos, y no es posible buscar en absoluto atributos de personas.

El código, que WIRED recopiló mediante un software personalizado que recoge los archivos que Flock envía al navegador del usuario antes de que este inicie sesión. Establece qué búsquedas pueden realizar los agentes, qué controles y advertencias ven, y cómo un resultado se convierte en la base para el siguiente. Fuera del alcance de los servidores de la empresa se encuentran los resultados reales de las búsquedas, las imágenes de las cámaras o la configuración del departamento, así como el modelo de IA que responde a las solicitudes de la policía.

El código recopilado por WIRED contiene la interfaz de usuario de Flock y muestra tanto las llamadas de red que realiza como las respuestas que espera recibir a cambio. Esto pone de manifiesto que, por el momento, los departamentos pueden configurar la herramienta para realizar algunas búsquedas sin necesidad de indicar un motivo o un número de caso vinculado a una investigación real. También pueden desactivar el sistema automatizado que señala los usos sospechosos; Flock afirma que estos controles serán obligatorios a finales de año.

La actividad de búsqueda se anota en registros de auditoría, según Flock, y las restricciones de búsqueda obligatorias se aplican en todas sus herramientas de búsqueda. La empresa no ha precisado si algún mecanismo de sus servidores impediría una búsqueda enviada sin motivo o sin número de caso.

Despedidos, suspendidos y dimitidos

Los agentes de policía ya han utilizado el software de Flock para rastrear a personas por motivos ajenos a la labor policial. Según The Washington Post, al menos 50 agentes en EE UU han sido recientemente imputados o acusados de hacer un uso indebido de los lectores de matrículas. Cuarenta y seis de esos casos están relacionados con Flock. En más de la mitad, la supuesta persona objeto de la búsqueda era una esposa, una novia, una expareja, el nuevo novio de una expareja o una mujer con la que el agente quería quedar.

Los detalles sobre cómo se puede hacer un uso indebido de las bases de datos policiales aparecen repetidamente en los informes de conducta indebida de los agentes: un agente de Milwaukee buscó a una mujer con la que salía 124 veces y a su expareja 55 veces, y registró cada búsqueda como una “investigación”. Un jefe de policía de Georgia buscó a su exnovia y a su hija 600 veces, fue imputado y se quitó la vida cinco meses después. Otro jefe de policía de Kansas, que nunca fue acusado, buscó a su ex 164 veces y a su novio 64 veces, y perdió su placa. Una agente de Carolina del Norte buscó a la exmujer de su novio 31 veces y registró 29 de ellas como infracciones de tráfico.

El abuso de las herramientas de investigación por parte de la policía no es nada nuevo. Una investigación de Associated Press de 2016 reveló que los agentes realizaban búsquedas en bases de datos sobre ex parejas y personas que les resultaban atractivas, lo que provocó que empleados policiales de organismos estatales y de docenas de los departamentos más grandes del país fueran despedidos, suspendidos u obligados a dimitir más de 325 veces entre 2013 y 2015. WIRED informó en 2023 que los empleados y contratistas del Servicio de Inmigración y Control de Aduanas habían sido investigados al menos 414 veces desde 2016 por hacer un uso indebido de bases de datos gubernamentales confidenciales. Este año se han descubierto cientos de denuncias más contra empleados de la Oficina de Aduanas y Protección Fronteriza, entre ellos agentes que consultaban bases de datos para localizar a mujeres con las que querían salir, vigilar a familiares y rastrear los teléfonos de sus compañeros.

Dos sistemas de notificación del software de Flock están dirigidos a seres humanos. La lista de vigilancia basada en consultas de búsqueda policiales es uno de ellos. Funciona a partir de la propia descripción escrita por el agente: este dibuja una forma en un mapa de la ciudad. La alerta se aplica a todas las cámaras situadas dentro de ella y cualquier persona que el modelo considere que coincide con la descripción activa una notificación. La frecuencia de las alertas se puede ajustar.

El otro, denominado “Alerta de detección de personas”, no requiere descripción alguna. En este caso, un agente dibuja un recuadro dentro del campo de visión de una sola cámara (una puerta, un tramo de acera) y recibe una notificación cuando hay una persona dentro de él. Basta con una sola persona para activarla. El software no acepta una alerta con una certeza inferior al 75% de que lo que la cámara está captando sea una persona.

Tres veredictos

Flock describió su sistema de moderación en abril, indicando que estaba diseñado para garantizar que las protecciones de la Primera Enmienda estuvieran “integradas”. El código reconstruido por WIRED muestra cómo un modelo de IA en los servidores de Flock evalúa la descripción que hace un agente de una persona. Lo hace según ocho categorías de contenido sensible antes de compararla con las grabaciones almacenadas, para luego emitir uno de estos tres veredictos: permitir, bloquear o advertir. El modelo se basa en una puntuación de confianza para llegar a ese veredicto. Dado que el modelo se ejecuta en los servidores de Flock, el departamento nunca ve esa puntuación. Lo único que recibe es una advertencia o un bloqueo predefinidos.

Las categorías de búsqueda bloqueadas incluyen la raza o el origen étnico, la religión, la nacionalidad, los “términos subjetivos o sesgados” y el “contenido ofensivo”. Búsquedas que el código describe como contenido sexual, insinuaciones, palabras y frases ofensivas, e insultos. En el modo “vehículo”, la herramienta bloquea cualquier búsqueda que utilice términos relacionados con personas, incluidos el género, la vestimenta y el comportamiento.

La religión y la nacionalidad son las dos únicas categorías que figuran en ambos casos, con un texto para el bloqueo y otro para una advertencia que permite al agente continuar. La expresión política, social y cultural solo se contempla como advertencia.

Flock explica a WIRED que los agentes no pueden realizar búsquedas utilizando atributos prohibidos, incluidas la religión y la nacionalidad, y que cualquier intento de buscar términos prohibidos “será bloqueado”. Al preguntársele en qué circunstancias se emite una advertencia en esas dos categorías, la empresa no dio más detalles.

Cuando una camiseta o una calcomanía para el parachoques genera una advertencia porque el texto incluye expresiones amparadas por “protecciones constitucionales”, se informa a los agentes de que la búsqueda quedará registrada y de que se notificará a los administradores. A continuación, los agentes deben marcar una casilla de aceptación y dejar un comentario antes de poder hacer clic en “Continuar con la búsqueda de todos modos”.

Flock destaca que la advertencia deja margen para el trabajo legítimo y pone como ejemplo a una víctima que describe a un sospechoso con una chaqueta de banda de motociclistas en la que figura: “un determinado logotipo o emblema de la banda que contiene una bandera u otra insignia”. Si un agente sigue adelante, se informa de ello a un administrador de su propio departamento para su revisión.

Kate Ruane, directora del proyecto de libertad de expresión del Centro para la Democracia y la Tecnología, lleva años estudiando cómo funcionan los sistemas de moderación automatizados. La expresión política, social y cultural es “una categoría increíblemente amorfa”, advierte, y una de las razones por las que la búsqueda de un agente podría contener términos relacionados con ella es para averiguar quién asistió a una manifestación. Eso ya ha ocurrido. La categoría preocupa lo suficiente a Flock como para que el sistema muestre una advertencia, señala, “pero aún así se pueden obtener los resultados con solo seguir haciendo clic”.

“Ninguna moderación de contenidos a gran escala es necesariamente precisa”, aclara. El análisis de videos en movimiento, añade, es aún más complicado y suele dar más errores.

Las categorías que sí se bloquean pueden eludirse, refiere Ruane. El sistema bloquea las búsquedas basadas en la religión, pero no en la vestimenta. Esto significa que, en la práctica, un agente podría eludir el bloqueo buscando el atuendo característico que llevan algunos miembros de una confesión religiosa concreta. “A muchas personas les aparecen sus imágenes como resultado de este tipo de búsquedas y probablemente se enfadarían si se enteraran”.

En una búsqueda realizada el año pasado, un agente de California tecleó “bandera estadounidense”. La búsqueda se bloqueó cuando se dirigió a una persona, pero encontró 11,000 cámaras cuando se dirigió a vehículos.

Una advertencia solo detiene a aquellos agentes que aún no estén decididos a realizar la búsqueda, explica Deepak Kumar, profesor adjunto de informática e ingeniería en la Universidad de California en San Diego. Kumar, que estudia los sistemas de confianza y seguridad, señala las interfaces creadas para hacer frente al acoso en línea. En ellas los usuarios decididos a acosar a veces causaban más daño tras recibir una advertencia. También resalta las alertas de los navegadores destinadas a alejar a los usuarios de sitios web maliciosos, donde el efecto depende de cómo se presenten las advertencias.

“Este tipo de registro puede resultar útil desde el punto de vista administrativo, para ver qué agentes o usuarios finales eluden las advertencias con frecuencia, pero ese valor depende por completo de si alguien lo gestiona”, manifiesta Kumar. “Funciona menos como medida disuasoria y más como un registro”.

Revisar los términos de búsqueda antes de que se ejecute una consulta detectará inevitablemente muchos intentos de uso indebido, pero, por sí solas, se sabe que estas medidas de seguridad fallan si no van acompañadas de un escrutinio equivalente de lo que el modelo devuelve. “Las mejores prácticas examinan tanto las entradas como las salidas”, según Kumar, “por eso tantas iniciativas de seguridad en IA comprueban ahora ambas cosas para evitar que los modelos generen resultados perjudiciales”.

Jay Stanley, analista político sénior del Proyecto de Libertad de Expresión, Privacidad y Tecnología de la ACLU, coincide en que el sistema de moderación aborda solo una pequeña parte del problema. Dice que el filtrado es “una mota en la parte trasera de una gigantesca máquina de vigilancia” cuya base de datos puede ser explorada por la IA para llevar a cabo “búsquedas a ciegas en las que el límite es tu imaginación”. Nadie fuera de Flock puede explicar cómo sus modelos estadísticos llegan a esas conclusiones.

Al igual que otras reformas recientes de Flock, afirma, la moderación parece estar dirigida a los “policías corruptos” y deja intactos los peligros estructurales de la vigilancia masiva.

Normas locales

Las búsquedas descritas hasta ahora se realizan sobre todas las personas o vehículos que han captado las cámaras de Flock, remontándose hasta donde la agencia almacene las grabaciones. Además de una descripción escrita, la herramienta toma una matrícula o una fotografía recortada, proporciona información sobre los automóviles presentes en los lugares que un agente marca en un mapa e infiere asociaciones a partir de los patrones de conducción, facilitando a los policías que introducen un número de matrícula los vehículos que se han visto junto a él.

El alcance de una búsqueda depende del modo, de los permisos de la agencia y de los acuerdos que esta mantenga con otras organizaciones. Una búsqueda puede realizarse en las propias cámaras de la agencia, en cámaras que comparten otras organizaciones o, en el caso de algunas búsquedas de matrículas, en redes estatales y nacionales.

Flock afirma que gran parte de la responsabilidad de regular su tecnología recae en las agencias locales, que establecen sus propias normas de acceso y uso. Don De Lucca, exjefe de policía de Miami Beach, Florida, y expresidente de la Asociación Internacional de Jefes de Policía, confirma que eso es cierto en gran medida. Los proveedores pueden recomendar medidas de seguridad, pero los departamentos deben establecer las normas antes de que la tecnología entre en funcionamiento. “Tiene que estar vinculado a algún tipo de fundamento jurídico”.

Un comandante de policía que supervisa las investigaciones especiales en un departamento policial del sur de California, y que ha solicitado permanecer en el anonimato porque no está autorizado a hablar, cuenta que la posibilidad de abuso no es exclusiva de Flock ni de la tecnología de vigilancia. Las nuevas tecnologías suelen crear oportunidades tanto para un uso legítimo como para un uso indebido, agrega. La verdadera cuestión es “si la tecnología se implementa con medidas de control estrictas, una supervisión activa, la posibilidad de auditoría y consecuencias en caso de uso indebido”.

A medida que se intensificaba el escrutinio sobre Flock esta primavera, la empresa anunció “Audit Assistance”, una función que detecta patrones que pueden justificar una revisión. Flock declara que más de un tercio de sus clientes la activaron en agosto. El código revisado por WIRED muestra que, actualmente, está desactivada por defecto. Según se informa, puede señalar búsquedas repetidas de una misma matrícula por parte de un agente, búsquedas limitadas a las cámaras de otros cuerpos policiales y búsquedas de una misma matrícula bajo varios números de expediente.

Flock asegura que, junto con esta función, se introducirán bloqueos de cuentas en caso de actividad anómala. La oficina del sheriff de Carolina del Sur activó “Audit Assistance” a principios de este mes y, al día siguiente, un agente de asuntos internos identificó más de 2,700 búsquedas presuntamente no autorizadas.

Artículo originalmente publicado en WIRED.com. Adaptado por Mauricio Serfatty Godoy.