Apple y Google tienen 30 días para cortar el problema
El fiscal municipal de San Francisco, David Chiu, envió el jueves 16 de julio cartas de cese y desistimiento a Apple y Google. Los documentos, a los que ha tenido acceso WIRED, señalan 13 aplicaciones de intercambio de caras: ocho estaban en la App Store y cinco en Google Play. Según la investigación, bastaba una foto de una persona real para colocar su rostro sobre un cuerpo desnudo o fabricar una escena sexual sin que hubiera dado permiso.
Conviene aclarar qué ha ocurrido exactamente. San Francisco todavía no ha conseguido una orden judicial que obligue a retirar esas aplicaciones en todo el mundo. Lo que ha enviado es un requerimiento: si las empresas no reaccionan, Chiu puede llevar el caso ante un juez. Apple y Google, de momento, ya han empezado a mover ficha.
El fiscal se ampara en la ley californiana AB-621, vigente desde 2026. La norma no solo apunta a quien crea o difunde un desnudo falso. También permite actuar contra las empresas que mantienen vivo el negocio —alojándolo, distribuyéndolo o gestionando sus pagos— si reciben pruebas y no rompen esa relación en 30 días. Las multas pueden alcanzar los 25.000 dólares por infracción y subir hasta 50.000 cuando se demuestra mala fe.
Ahí es donde entran Apple y Google. Sus tiendas daban visibilidad a las apps, tramitaban las compras y se quedaban con una parte del dinero. Para la Fiscalía, no eran simples escaparates: también estaban haciendo posible el negocio.
Google ha borrado cinco apps y Apple, al menos tres
Google aseguró a WIRED que ya había eliminado las cinco aplicaciones para Android mencionadas en las cartas. También afirma haber retirado «cientos» de apps parecidas y limitado las búsquedas relacionadas con estos servicios. Apple confirmó que había borrado tres y que expulsaría a sus desarrolladores. Otros cuatro tienen que corregir sus incumplimientos si no quieren correr la misma suerte. Sobre la octava app de iPhone, la compañía no dio una respuesta clara.
Las reglas de ambas tiendas ya prohibían este contenido. Google Play menciona expresamente las aplicaciones que prometen desnudar personas, ver a través de la ropa o crear contenido sexual no consentido mediante deepfakes. Las normas de Apple vetan el material pornográfico, la explotación y las aplicaciones que terminan utilizándose principalmente para objetificar o acosar a personas reales.
La pregunta es evidente: si las normas ya lo prohibían, ¿cómo consiguieron colarse? Muchas se venden como editores simpáticos para intercambiar caras, animar una foto o probar un peinado. La opción realmente peligrosa puede aparecer después de instalar la app, esconderse tras un pago o mezclarse entre herramientas completamente normales. Mirar el icono, las capturas promocionales y la demostración preparada por el desarrollador no es suficiente.
Dar una lista con los nombres tampoco solucionaría demasiado y, de paso, podría servir como catálogo para encontrarlas. Cuando una app desaparece, su creador puede cambiar el icono, abrir otra cuenta y volver a publicar prácticamente lo mismo. Apple y Google tendrán que probar de verdad qué admite cada editor, tanto antes de aprobarlo como después de sus actualizaciones.
Siete de cada diez apps permitieron crear las cuatro imágenes
Un estudio de Cornell y Georgetown, publicado en mayo, permite hacerse una idea del tamaño del agujero. Los investigadores buscaron «face swap» en las dos tiendas y encontraron 420 aplicaciones. Pudieron probar 155 de ellas con el mismo método: cuatro parejas de imágenes creadas para el estudio, con distintos tonos de piel y sexos. El objetivo era comprobar si aceptaban colocar el rostro de una persona ficticia vestida sobre un cuerpo desnudo, también ficticio.
La prueba ni siquiera incluía las apps que se anuncian abiertamente para desnudar. Aun así, 109 aplicaciones, el 70%, completaron los cuatro intercambios sexuales sin bloquearlos. Otras 16 frenaron algunos pares, pero no todos. Solo 30 rechazaron las cuatro pruebas. Falló el 80% de las aplicaciones de iOS y el 58,6% de las de Android.
Las 16 que solo frenaron algunos intentos tampoco protegían a todo el mundo por igual. En la mitad de esos fallos, el filtro se activó únicamente con imágenes de personas de piel oscura. Si una fotografía se bloquea y otra casi idéntica pasa sin problemas, el sistema puede estar reaccionando a la iluminación, al tono de piel o a las carencias de los datos con los que aprendió a detectar desnudez.
El estudio no pretende abarcar todas las apps que existen. Una sola búsqueda nunca va a encontrar el catálogo completo, 265 aplicaciones quedaron fuera porque no servían para esa prueba concreta o directamente no funcionaban, y todas las imágenes utilizadas eran artificiales. Aun con esos límites, el resultado impresiona: ninguna de las 155 apps se anunciaba como una herramienta para desnudar personas, pero 109 aceptaron los cuatro intentos.
Los autores creen que Apple y Google deberían intentar saltarse las barreras de estos editores antes de publicarlos, igual que haría alguien que quisiera utilizarlos para hacer daño. También proponen filtros de desnudez, advertencias claras y una nueva revisión cada vez que llegue una actualización importante. El gráfico de INSERT FUTURE recoge sus resultados sin mostrar las imágenes sensibles del estudio.
Europa pone fecha límite: 2 de diciembre
Mientras San Francisco presiona a dos empresas concretas, Europa prepara una prohibición para todo el mercado. El Parlamento Europeo aprobó en junio una modificación de la Ley de IA y el Consejo le dio el visto bueno definitivo el 29 de junio. La norma prohíbe los sistemas creados para generar material de abuso sexual infantil o imágenes de las partes íntimas y la actividad sexual de una persona identificable sin su consentimiento.
Una aplicación de uso general podrá seguir en el mercado si incorpora medidas técnicas adecuadas. Un editor legítimo de fotografía no queda prohibido por poder cambiar una cara o rellenar una zona de la imagen; tendrá que impedir que esas funciones se conviertan en un servicio para fabricar desnudos sin permiso. Las empresas tienen hasta el 2 de diciembre de 2026 para adaptar sus sistemas.
En España y el resto de la Unión Europea, esas protecciones serán obligatorias para poder distribuir la aplicación. Cambiar el nombre de una función o esconderla detrás de otra etiqueta no servirá si sigue obedeciendo la misma petición. Es la misma tendencia que ya analizamos en INSERT FUTURE: los gobiernos quieren que también respondan las empresas que ponen estas herramientas al alcance de millones de personas.
La nueva norma no hará desaparecer los modelos descargables, los bots privados ni el software que circula fuera de las tiendas. Pero sí puede cerrar la puerta por la que entra la mayoría de la gente. Perder la App Store o Google Play significa perder visibilidad, facilidad de pago y ese sello de confianza que muchos usuarios dan por hecho cuando ven una app publicada allí.
Una app borrada no elimina las imágenes que ya circulan
Retirar una herramienta evita nuevas descargas, pero no recupera las fotografías enviadas a sus servidores ni borra el contenido que alguien haya guardado o publicado. La Agencia Española de Protección de Datos recuerda que el riesgo empieza al subir una imagen de otra persona: puede haber copias, retención y tratamientos que el usuario no ve, incluso aunque nunca publique el resultado.
Si una imagen sexual falsa ya se está difundiendo en internet y pone en grave riesgo a la persona afectada, la AEPD ofrece un Canal Prioritario para solicitar su retirada urgente. Puede acudir la víctima o alguien que conozca el caso. La Agencia pide las direcciones donde aparece el contenido y una descripción de las circunstancias; si aprecia indicios de delito, puede trasladarlos a la Fiscalía. La mensajería privada exige otras vías, aunque la difusión también puede generar responsabilidades.
Guardar las URL y capturas necesarias para acreditar lo ocurrido, utilizar los sistemas de denuncia de la plataforma y no reenviar el material ayuda a cortar la propagación. Si afecta a un menor o hay amenazas, extorsión o acoso, también procede denunciar ante las fuerzas de seguridad. INCIBE mantiene el servicio gratuito 017 para orientar a víctimas y familias.
Las primeras apps ya han caído, pero el problema está lejos de terminar. El estudio encontró 109 editores capaces de generar las cuatro imágenes sexuales sin freno alguno, y eso sin buscar herramientas que se anunciaran para desnudar personas. Antes de diciembre veremos si Apple y Google se limitan a borrar las que han salido en los titulares o si empiezan a revisar en serio todo lo que esconden sus tiendas. Lo iremos contando en el canal de inteligencia artificial de INSERT FUTURE.
La conversación empieza aquí
Accede con una cuenta de apoyo para comentar. Entrar
Todavía no ha comentado nadie. ¿Estrenas tú?