Las principales empresas tecnológicas están adoptando el enfoque del “red teaming” en un esfuerzo por fortalecer la seguridad cibernética de la inteligencia artificial (IA). Esta metodología, comunmente utilizada en la seguridad informática y gestión de riesgos, implica la simulación de ataques cibernéticos y amenazas para evaluar la vulnerabilidad y resiliencia de sistemas, redes, organizaciones y procesos.
En un reciente artículo de Forbes, los líderes de red teaming de gigantes tecnológicos como Microsoft, Google, Nvidia y Meta discutieron los desafíos que enfrentan al crear modelos de lenguaje operado con IA. Cristian Canton, jefe del equipo de red teaming de IA de Facebook, destacó la importancia de equilibrar la seguridad de los modelos de IA con su utilidad, y llegó a la conclusión de que un modelo extremadamente seguro pero inútil no es la solución, señalando que debe existir una compensación entre seguridad y utilidad.
Sin embargo, la seguridad de los modelos de IA generativa se aborda de manera diferente en comparación con las prácticas de seguridad rutinarias. Daniel Fabian, líder del equipo de IA Red Team de Google, mencionó que se someten a pruebas de estrés productos como Bard para identificar contenido ofensivo antes de su implementación, incluyendo la adición de idiomas.
Además de cuestionar los modelos de IA para inducir respuestas perjudiciales, los equipos de red teaming emplean estrategias como la extracción de datos de entrenamiento que contienen información identificable, así como la táctica de envenenar conjuntos de datos, alterando partes del contenido antes de su uso para entrenar los modelos.
La comunidad de profesionales en el campo de la inteligencia artificial compartió sus hallazgos y estrategias, fomentando la colaboración. Los equipos de red teaming de Google divulgaron sus investigaciones sobre nuevas modalidades de ataques contra modelos de IA, mientras que el equipo de Microsoft puso a disposición del público herramientas de ataque como Counterfit.
Nvidia también está comprometida en esta área y ofrece cursos intensivos sobre algoritmos de red teaming para ingenieros de seguridad y empresas. Esta colaboración en la industria quiere abordar los desafíos continuos en la seguridad de la IA generativa, que se considera un "monstruo de múltiples cabezas". Sin embargo, los expertos señalan que se necesitará un esfuerzo colectivo para abordar este creciente problema de seguridad.
