Cada semana surgen novedades sobre nuevos avances en materia de inteligencia artificial, por lo que resulta cada vez más importante que las organizaciones comprendan los riesgos, antes de adoptar herramientas de inteligencia artificial.

Durante más de 20 años, las listas de los 10 principales riesgos del Open Worldwide Application Security Project (OWASP) han sido referencia en la lucha por hacer que el software sea más seguro. En 2023, OWASP presentó una nueva incorporación: un resumen de los riesgos específicos de la IA. Se publicaron dos versiones preliminares de la lista de riesgos de la IA en verano de ese año, y una versión formal se publicó en octubre.

Desde entonces, los LLM (large language model) solo se han arraigado más como herramientas de productividad empresarial. La mayoría de las empresas están utilizando o explorando el uso de la IA y, si bien algunas responsabilidades son bien conocidas, como la necesidad de verificar siempre el trabajo de un LLM, otras permanecen bajo el radar.

Vulnerabilidades de seguridad en aplicaciones LLM

Realizamos un análisis y descubrimos que las vulnerabilidades identificadas por OWASP, se dividen en tres categorías generales:

• Riesgos de acceso asociados con privilegios explotados y acciones no autorizadas.
• Riesgos de datos como manipulación de datos o pérdida de servicios.
• Riesgos comerciales y de reputación resultantes de acciones de IA incorrectas.

En este blog, analizamos en profundidad los riesgos específicos de cada caso y ofrecemos algunas sugerencias sobre cómo manejarlos.

1. Riesgos de acceso con IA

De las 10 vulnerabilidades enumeradas por OWASP, tres son específicas del acceso y el uso indebido de privilegios: diseño de complementos inseguro, manejo de salidas inseguro y agencia excesiva, refiriéndonos como agencia a una compañía que brinda servicios y que suele administrar asuntos de sus clientes, no propios.

Según OWASP, un LLM que utilice un modelo de lenguaje inseguro podría perder el control de acceso, lo que lo dejaría expuesto a solicitudes maliciosas o a la ejecución de código remoto no autorizado. Por otro lado, los complementos o aplicaciones que manejan salidas de modelos de lenguaje grandes de forma insegura (sin evaluarlas) podrían exponer los sistemas de backend a ataques XSS, CSRF y SSRF que ejecutan acciones no deseadas, y a escaladas de privilegios no autorizadas y ejecución de código remoto.

Debido a que los chatbots de IA son "actores" capaces de tomar e implementar decisiones, importa cuánta libertad de acción (es decir, agencia) se les dé. Como explica OWASP, “la agencia excesiva es la vulnerabilidad que permite que se realicen acciones dañinas en respuesta a resultados inesperados o ambiguos de un LLM (independientemente de lo que esté causando el mal funcionamiento del LLM; ya sea alucinación o confabulación, inyección directa o indirecta de indicaciones, complemento malicioso, indicaciones benignas mal diseñadas o simplemente un modelo de bajo rendimiento)”.

Por ejemplo, un asistente de lectura de correo personal con capacidades de envío de mensajes, podría ser explotado por un correo electrónico malicioso para propagar spam desde la cuenta de un usuario.

En todos estos casos, el modelo de lenguaje grande se convierte en un conducto para que los actores maliciosos se infiltren en los sistemas.

2. Riesgos de datos e IA

El envenenamiento de datos de entrenamiento, las vulnerabilidades en la cadena de suministro de desarrollo, la divulgación de información confidencial, las inyecciones de indicaciones y las denegaciones de servicio. Estos riesgos son específicos de los datos y pueden tener graves consecuencias. A continuación, los detallamos:

• Envenenamiento de datos

Puede ser deliberado, llevado a cabo por actores maliciosos, o inadvertido, cuando un sistema de IA aprende de fuentes poco confiables o no verificadas. Este envenenamiento puede ocurrir tanto en aplicaciones de chatbots de IA activas como en la cadena de suministro de modelos de lenguaje grande (LLM). La dependencia de modelos previamente entrenados, datos de colaboración colectiva y extensiones de complementos inseguros puede resultar en datos sesgados, violaciones de seguridad o fallos del sistema.

• Vulnerabilidades en la cadena de suministro

Junto con el envenenamiento de datos, las vulnerabilidades en la cadena de suministro son preocupaciones críticas. Incluir información privada, confidencial o de identificación personal en los datos de entrenamiento del modelo, puede llevar a divulgaciones no deseadas de información sensible.

• Inyecciones de indicaciones

Son otra amenaza significativa. Entradas malintencionadas pueden hacer que un chatbot de IA basado en un modelo de lenguaje grande, exponga datos que deberían mantenerse privados o realice acciones que comprometan la seguridad de los datos.

• Ataques de denegación de servicio (DoS)

En IA, los ataques DoS son similares a los ataques DoS clásicos. Estos pueden saturar un modelo de lenguaje grande, privando a los usuarios del acceso a datos y aplicaciones. Además, dado que muchos chatbots de IA dependen de una infraestructura de TI de pago por uso, estos ataques pueden forzar al sistema a consumir recursos excesivos, acumulando costos masivos.

3. Riesgos comerciales y de reputación asociados con la IA

Las dos últimas vulnerabilidades identificadas por OWASP se relacionan con el robo de modelos y la dependencia excesiva de la IA. El robo de modelos ocurre cuando una organización posee un modelo LLM patentado y usuarios no autorizados acceden, copian o extraen dicho modelo. Esto puede ser explotado para perjudicar el desempeño de la empresa, ponerla en desventaja competitiva y potencialmente causar una fuga de información confidencial.

La dependencia excesiva de la IA ya está teniendo consecuencias globales. Existen numerosos casos de grandes modelos de lenguaje que generan resultados falsos o inapropiados, desde citas inventadas y precedentes legales incorrectos hasta lenguaje racista y sexista.

OWASP advierte que depender de chatbots de IA, sin una supervisión adecuada, puede hacer que las organizaciones sean vulnerables a la publicación de información errónea o contenido ofensivo, lo que podría dañar su reputación o incluso resultar en acciones legales.

Entonces, ¿qué pueden hacer las empresas frente a las vulnerabilidades de la IA?

Afortunadamente, existen medidas de protección que las organizaciones pueden implementar. Desde nuestra perspectiva en Trend Micro, la defensa contra los riesgos de acceso de la IA requiere una postura de seguridad de confianza cero con una separación disciplinada de los sistemas (sandboxing).

Aunque la IA generativa puede desafiar las defensas de confianza cero de maneras que otros sistemas de TI no lo hacen (debido a su capacidad para imitar entidades confiables), una postura de confianza cero aún agrega controles y contrapesos que facilitan la identificación y contención de actividades no deseadas. OWASP también advierte que los modelos de lenguaje grandes “no deberían autocontrolarse” y recomienda incorporar controles en las interfaces de programación de aplicaciones (API).

El sandboxing es clave para proteger la privacidad e integridad de los datos, ya que mantiene la información confidencial completamente separada de los datos que se pueden compartir, haciéndola inaccesible para los chatbots de IA y otros sistemas públicos.

Una buena separación de los datos evita que los modelos de lenguaje grandes incluyan información privada o de identificación personal en los resultados públicos y que se les solicite públicamente que interactúen con aplicaciones seguras, como los sistemas de pago, de maneras inapropiadas.

En cuanto a la reputación, las soluciones más sencillas son no depender únicamente del contenido o el código generados por IA y no publicar ni utilizar nunca los resultados de IA sin verificar primero que sean verdaderos, precisos y fiables.

Muchas de estas medidas defensivas pueden (y deben) incorporarse en las políticas corporativas. Una vez que se establece una base política adecuada, se pueden utilizar tecnologías de seguridad como la detección y respuesta de puntos finales (EDR), la detección y respuesta extendidas (XDR) y la gestión de eventos e información de seguridad (SIEM) para la aplicación de la normativa y para supervisar la actividad potencialmente dañina.

Mitigación de riesgos de la IA de cara al futuro

Los chatbots de IA con modelos de lenguaje de gran tamaño llegaron para quedarse. El catálogo de riesgos de la IA de OWASP demuestra que las preocupaciones sobre la prisa por adoptar la IA están bien justificadas. Al mismo tiempo, la IA claramente no va a desaparecer, por lo que comprender los riesgos y tomar medidas responsables para mitigarlos es de vital importancia.

Establecer las políticas adecuadas para gestionar el uso de la IA e implementar esas políticas con la ayuda de soluciones de ciberseguridad es un buen primer paso. También lo es mantenerse informado. Según nuestra opinión en Trend Micro, la lista de los 10 principales riesgos de la IA de OWASP seguramente se convertirá en una lectura obligada anual, como lo ha sido su lista original de seguridad de aplicaciones desde 2003.