Hugging Face fue fundada en 2016 y es una de las plataformas de código abierto más importantes en el campo de la inteligencia artificial a nivel mundial, conocida por su amplia gama de modelos y bases de datos de IA. Recientemente, el equipo de investigación de amenazas de ReversingLabs (RL) descubrió modelos de aprendizaje automático maliciosos en la plataforma de Hugging Face, los cuales aprovechan una vulnerabilidad de serialización de archivos Pickle en Python para ejecutar código malicioso y ocultarlo dentro del modelo. Sin embargo, el mecanismo de escaneo de seguridad de Hugging Face no los marcó como “inseguros”, lo que llevó a los investigadores a nombrar esta técnica de propagación como “nullifAI”, generando una amplia atención sobre la seguridad de los modelos de IA.
Pickle es una biblioteca estándar de Python utilizada para la serialización y deserialización de objetos de estructuras de datos de Python, especialmente útil en el almacenamiento y transmisión de datos de modelos de aprendizaje automático. Aunque Pickle es fácil de usar, su vulnerabilidad común de serialización presenta un riesgo para los atacantes, ya que pueden ocultar código malicioso dentro de los modelos a través de Pickle. El equipo de Hugging Face advierte específicamente sobre los riesgos de seguridad al usar Pickle y se refiere a los problemas de serialización de Pickle como “Pickling”.
Hugging Face ofrece una herramienta de escaneo llamada “picklescan”, diseñada para detectar archivos Pickle maliciosos. Sin embargo, esta herramienta solo puede escanear archivos Pickle completos e intactos, lo que permite a los hackers evitar la detección de seguridad mediante el uso de archivos Pickle “dañados”. Estos archivos dañados provocan errores durante el proceso de deserialización, pero no afectan la ejecución del código malicioso. Las Figuras 1 y 2 son ejemplos de modelos de IA maliciosos descubiertos por el equipo de investigación de amenazas de ReversingLabs en Hugging Face, los cuales ya han sido eliminados de la plataforma.
Imagen 1: Modelo de IA malicioso en Hugging Face.
Imagen 2: Modelo de IA malicioso en Hugging Face.
Los hackers construyen modelos de IA utilizando archivos Pickle comprimidos, donde la primera mitad del archivo contiene el código malicioso y la segunda mitad contiene datos inválidos o dañados. Durante el proceso de deserialización, el archivo se procesa gradualmente, lo que permite que el código malicioso en la primera mitad se ejecute primero. Debido a que la segunda mitad de los datos está dañada, se producen errores durante la deserialización y se detiene la ejecución. Debido a que picklescan solo puede escanear archivos Pickle completos e intactos, no puede identificar estos modelos de IA como archivos Pickle maliciosos.
El 20 de enero de 2025, ReversingLabs informó a Hugging Face sobre el descubrimiento de modelos de IA maliciosos y la vulnerabilidad de la herramienta. El equipo de Hugging Face eliminó los modelos maliciosos en un plazo de 24 horas y actualizó picklescan para mejorar su capacidad de detección de archivos Pickle “dañados”.
A continuación, se presentan algunas recomendaciones de defensa para aquellos que utilizan modelos de IA de código abierto:
1. Los equipos de desarrollo deben tener cuidado al utilizar archivos Pickle en plataformas como Hugging Face.
2. Se recomienda evitar el uso de archivos Pickle y optar por otros formatos de serialización más seguros.
3. Asegúrese de separar cualquier operación personalizada necesaria para cargar el modelo de IA de los datos serializados.
Indicadores de compromiso (IoC) de los modelos de IA maliciosos:
– 1733506c584dd6801accf7f58dc92a