Un grupo de investigadores ha publicado un estudio que vuelve a hacer saltar las alarmas en lo que respecta a la protección de datos al utilizar IA. Han demostrado que es posible saber el mensaje exacto que utilizó un usuario para preguntarle algo a un chatbot, y eso coloca a las empresas de inteligencia artificial en una posición complicada. Podrás saber todo sobre nosotros más que nunca.
Un estudio aterrador. Si le dicen que “los modelos lingüísticos son inyectivos y, por tanto, invertibles”, probablemente se sorprenderá. ese es el titulo Del estudio de investigadores europeos en el que explican que los modelos de lenguaje grandes (LLM) tienen un importante problema de privacidad. Y eso se debe a que la arquitectura Transformer está diseñada de esta manera: cada mensaje diferente corresponde a una «incrustación» diferente en el espacio latente del modelo.
Un algoritmo astuto. Mientras desarrollaban su teoría, los investigadores desarrollaron un algoritmo llamado SIPIT (Sequential Inverse Prompt via ITerative Updates). Dicho algoritmo reconstruye el texto de entrada exacto a partir de las activaciones/estados ocultos con la garantía de que esto sucede en tiempo lineal. O lo que es lo mismo: podrás “romper” el modelo fácil y rápidamente.
¿Qué significa eso?. Todo esto significa que puede descubrir exactamente lo que preguntó en función de la respuesta que obtenga al utilizar este modelo de IA. En realidad, no es la respuesta lo que revela, sino los estados ocultos o incrustaciones que los modelos de IA utilizan para dar la respuesta final al final. Esto es un problema porque las empresas de inteligencia artificial mantienen ocultos estos estados, lo que en teoría les permitiría conocer el aviso con absoluta precisión.
Pero muchas empresas ya han guardado las indicaciones.. Eso es cierto, pero esta “inyectividad” plantea un riesgo adicional para la privacidad. Muchas incorporaciones o estados internos se almacenan para almacenamiento en caché, monitoreo o diagnóstico y personalización. Si una empresa elimina solo la conversación de texto sin formato pero no el archivo incrustado, el mensaje aún se puede restaurar desde ese archivo. El estudio muestra que cualquier sistema que almacene estados ocultos procesa efectivamente el texto de entrada.
Implicaciones legales. Aquí también hay un componente legal peligroso. Hasta ahora, los reguladores y las empresas han argumentado que los estados internos no cuentan como “datos personales recuperables”, sino que la reversibilidad cambia las reglas del juego. Si una empresa de inteligencia artificial le dice: «No se preocupe, no guardaré las indicaciones», pero guarda los estados ocultos, es como si esta garantía teórica de privacidad fuera inútil.
Posibles fugas de datos. A priori, no parece fácil para un potencial atacante hacer algo como esto, ya que primero tendría que tener acceso a estas incrustaciones. Una violación de seguridad que resulte en la filtración de una base de datos que contiene estos estados internos/ocultos (incrustaciones) ya no se consideraría una divulgación de datos «abstractos» o «cifrados», sino más bien una fuente de solo texto de la cual, por ejemplo, se podrían recuperar datos financieros o contraseñas que una empresa o un usuario utilizó al consultar el modelo de IA.
Derecho a ser olvidado. Esta inyectividad del LLM también complica los requisitos para el cumplimiento de las normas legales en materia de protección de datos personales, como el RGPD o el “derecho al olvido”. Si un usuario solicita que una empresa como OpenAI elimine por completo sus datos, debe asegurarse de eliminar no solo los registros de chat visibles, sino también todas las representaciones internas (incrustaciones). Si un estado oculto persiste en un registro o caché, es posible que el mensaje original aún sea recuperable.
Imagen | Fotógrafo Levart
En | OpenAI asegura que la industria tecnológica une su destino al suyo. En interés de la economía global, debería funcionar mejor
