La IA empresarial plantea un nuevo reto para los departamentos de TI

 

La inteligencia artificial está entrando rápidamente en las empresas, pero el crecimiento de modelos cada vez más potentes también está creando nuevos desafíos para los departamentos de tecnología y seguridad informática.

Las principales compañías de inteligencia artificial están desarrollando diferentes enfoques para evaluar, supervisar y controlar los riesgos de sus modelos. Al mismo tiempo, las empresas necesitan decidir cómo implementar estas herramientas, qué información pueden utilizar, qué permisos tendrán y cómo controlar sus acciones.

El resultado es la aparición de una nueva prioridad dentro de la seguridad empresarial: AI Security y AI Governance.

El nuevo desafío de la inteligencia artificial empresarial

Hace algunos años, incorporar una herramienta de software a una empresa significaba principalmente analizar su funcionalidad, precio, compatibilidad y seguridad.

Con los sistemas de inteligencia artificial, la situación es más compleja.

Una aplicación de IA puede:

• Procesar documentos confidenciales.
• Acceder a información interna.
• Generar código.
• Consultar bases de datos.
• Utilizar herramientas externas.
• Interactuar con aplicaciones empresariales.
• Ejecutar determinadas acciones de forma automática.
• Tomar decisiones dentro de un flujo de trabajo.

Cuando además se incorporan agentes de IA, el sistema puede pasar de simplemente responder preguntas a ejecutar tareas utilizando herramientas y permisos proporcionados por la organización.

Esto modifica considerablemente el modelo tradicional de seguridad informática.

Las grandes empresas de IA tienen diferentes enfoques de seguridad

OpenAI, Anthropic y Google, entre otros desarrolladores, han publicado diferentes marcos y políticas para abordar los riesgos asociados con modelos avanzados.

OpenAI, por ejemplo, publicó su Frontier Governance Framework, destinado a establecer procesos para evaluar y gestionar riesgos asociados con sistemas de IA cada vez más capaces.

Al mismo tiempo, otras organizaciones han desarrollado sus propios mecanismos de evaluación, seguridad y gobernanza.

Aunque existe un amplio consenso sobre la necesidad de mejorar la seguridad de la inteligencia artificial, no existe un único modelo universal para gestionar estos riesgos.

Para las empresas que compran o integran servicios de IA, esto genera una pregunta importante:

¿Cómo debe una organización evaluar la seguridad de un proveedor de inteligencia artificial antes de darle acceso a sus datos y sistemas?

El departamento de TI ahora debe controlar mucho más que una aplicación

Cuando una empresa incorpora un modelo de IA, el equipo de TI necesita analizar varios niveles de riesgo.

No basta con preguntar si el proveedor tiene cifrado o autenticación multifactor.

También es necesario conocer:

• Qué datos procesa el modelo.
• Dónde se almacenan esos datos.
• Cuánto tiempo se conservan.
• Si pueden utilizarse para entrenar modelos.
• Qué proveedores externos intervienen.
• Qué herramientas puede utilizar el sistema.
• Qué permisos necesita.
• Cómo se registran las acciones.
• Cómo se gestionan los incidentes.
• Qué ocurre cuando el servicio deja de estar disponible.

Estas preguntas están convirtiendo la gobernanza de IA en una extensión de las estrategias tradicionales de seguridad y gestión de proveedores.

Los agentes de IA cambian las reglas

Los modelos generativos tradicionales normalmente esperan una pregunta y producen una respuesta.

Los agentes de IA pueden ir más allá.

Dependiendo de su configuración, un agente puede utilizar herramientas, consultar sistemas internos, ejecutar código o interactuar con diferentes aplicaciones.

Esto genera una diferencia fundamental.

Una IA que solamente genera texto puede representar principalmente un riesgo relacionado con la información que procesa.

Un agente con permisos para modificar archivos, enviar mensajes o consultar sistemas corporativos puede convertirse en un componente operativo de la infraestructura empresarial.

Por ello, los permisos concedidos a un agente deberían ser tratados con criterios similares a los utilizados para usuarios y aplicaciones.

IAM también llega a la inteligencia artificial

La gestión de identidades y accesos, conocida como IAM, adquiere una nueva dimensión con los sistemas de IA.

Tradicionalmente, las empresas gestionaban identidades de:

• Empleados.
• Administradores.
• Aplicaciones.
• Servicios.
• Dispositivos.

Ahora aparece una nueva categoría:

Agentes y sistemas de inteligencia artificial.

Una organización debe determinar quién puede utilizar un modelo, qué datos puede consultar y qué acciones puede ejecutar.

Por ejemplo, un asistente de IA utilizado por el departamento financiero podría necesitar acceso a determinados documentos, pero no necesariamente a toda la infraestructura corporativa.

El principio de mínimo privilegio sigue siendo aplicable.

Zero Trust para sistemas de IA

El modelo Zero Trust parte de una idea sencilla: ningún usuario, dispositivo o aplicación debe recibir confianza implícita.

Este principio también puede aplicarse a la inteligencia artificial.

En lugar de permitir que un agente tenga acceso permanente a numerosos sistemas, una empresa puede limitar sus permisos según:

• Usuario.
• Aplicación.
• Contexto.
• Tipo de información.
• Acción solicitada.
• Nivel de riesgo.
• Duración del acceso.

Esto puede reducir el impacto de un error, una configuración incorrecta o una posible manipulación del agente.

Protección de datos: uno de los mayores problemas

La información corporativa puede ser uno de los activos más valiosos de una empresa.

Los empleados pueden utilizar herramientas de IA para analizar:

• Contratos.
• Información financiera.
• Código fuente.
• Datos de clientes.
• Documentación interna.
• Estrategias comerciales.
• Información de recursos humanos.
• Investigaciones y propiedad intelectual.

Si una organización no establece políticas claras, los empleados pueden terminar enviando información sensible a servicios de IA sin conocer completamente cómo será procesada.

Este fenómeno se relaciona con el concepto de Shadow AI: el uso de herramientas de inteligencia artificial sin autorización o supervisión del departamento de TI.

¿Qué es Shadow AI?

Shadow AI es la utilización de herramientas de inteligencia artificial dentro de una organización sin que hayan sido aprobadas formalmente por los responsables de tecnología o seguridad.

Es similar al antiguo concepto de Shadow IT, pero aplicado a la inteligencia artificial.

Por ejemplo, un empleado podría utilizar una herramienta pública de IA para:

• Resumir un contrato.
• Analizar una base de datos.
• Revisar código.
• Crear informes.
• Traducir documentación.
• Procesar información de clientes.

El problema no necesariamente es utilizar IA.

El problema es hacerlo sin conocer las políticas de privacidad, retención de datos, controles de seguridad y condiciones del proveedor.

Las empresas necesitan una política de IA

Una política empresarial de inteligencia artificial debería establecer claramente qué herramientas están autorizadas y cómo pueden utilizarse.

Entre los controles recomendables se encuentran:

Herramientas aprobadas

La organización debe definir qué servicios de IA pueden utilizar los empleados.

Clasificación de datos

Los trabajadores necesitan saber qué información puede introducirse en una herramienta de IA y qué información está prohibida.

Gestión de identidades

El acceso debe estar vinculado a cuentas corporativas y mecanismos adecuados de autenticación.

Registro y monitorización

Las organizaciones necesitan visibilidad sobre cómo se utilizan los sistemas de IA.

Evaluación de proveedores

Los proveedores deben ser analizados desde el punto de vista de seguridad, privacidad y cumplimiento.

Gestión de incidentes

Debe existir un procedimiento para responder si un modelo, cuenta o agente de IA resulta comprometido.

AI Security se convierte en una nueva categoría empresarial

La expansión de la inteligencia artificial está impulsando una nueva categoría dentro del mercado de ciberseguridad.

Las organizaciones están buscando soluciones relacionadas con:

• AI Security.
• AI Governance.
• Model Security.
• Data Loss Prevention.
• Identity and Access Management.
• Cloud Security.
• API Security.
• Agent Security.
• Application Security.
• Risk Management.
• Compliance.

La Cloud Security Alliance, por ejemplo, ha desarrollado un AI Security Maturity Model para ayudar a las organizaciones a evaluar y mejorar sus capacidades de seguridad relacionadas con inteligencia artificial.

Esto refleja una tendencia importante: la IA ya no se está tratando solamente como una herramienta de productividad.

También está siendo considerada como un activo tecnológico que necesita controles específicos de seguridad y gobernanza.

¿Cómo deberían prepararse los departamentos de TI?

Las empresas que están adoptando inteligencia artificial pueden comenzar con una estrategia gradual.

1. Crear un inventario de herramientas de IA

La organización debería conocer qué aplicaciones y servicios de IA utilizan sus empleados.

2. Clasificar los datos

No toda la información empresarial debe tener el mismo nivel de protección.

Los datos confidenciales deben recibir controles más estrictos.

3. Aplicar mínimo privilegio

Los agentes de IA deberían recibir únicamente los permisos necesarios para realizar sus tareas.

4. Proteger las identidades

Las cuentas utilizadas para acceder a sistemas de IA deben estar protegidas mediante controles de identidad adecuados.

5. Supervisar a los agentes

Cuando un agente puede realizar acciones automáticamente, sus actividades deberían quedar registradas y ser auditables.

6. Evaluar a los proveedores

Antes de integrar una plataforma de IA en procesos críticos, es importante revisar sus políticas de seguridad, privacidad, almacenamiento y gestión de incidentes.

7. Preparar un plan de respuesta

La empresa debería saber qué hacer si una cuenta de IA es comprometida, si se filtran datos o si un agente ejecuta una acción no autorizada.

La seguridad de IA será una responsabilidad compartida

El futuro de la inteligencia artificial empresarial no dependerá únicamente de los desarrolladores de modelos.

Los proveedores deberán mejorar sus mecanismos de seguridad, pero las empresas también tendrán que establecer controles propios.

El departamento de TI tendrá que gestionar una combinación cada vez más compleja de:

Usuarios + aplicaciones + dispositivos + agentes de IA + datos + infraestructura cloud.

Esto significa que las tecnologías tradicionales de identidad, seguridad de endpoints, protección de datos y monitorización tendrán que adaptarse a una nueva generación de sistemas capaces de interactuar directamente con la infraestructura empresarial.

La inteligencia artificial está cambiando la forma en que las empresas trabajan, pero también está modificando la superficie de ataque que deben proteger los departamentos de TI.

Las diferencias entre los principales desarrolladores de IA sobre evaluación, supervisión y gestión de riesgos muestran que todavía no existe un único modelo universal de seguridad para los sistemas avanzados.

Mientras tanto, las empresas ya tienen que tomar decisiones concretas.

Deben determinar qué modelos pueden utilizar, qué datos pueden procesar, qué permisos tendrán los agentes y cómo controlar sus acciones.

Por eso, conceptos como AI Security, AI Governance, Zero Trust, IAM y protección de datos están adquiriendo una importancia creciente dentro de las estrategias de tecnología empresarial.

La cuestión ya no es solamente qué puede hacer la inteligencia artificial.

La pregunta para los departamentos de TI es también qué se le permitirá hacer dentro de la empresa y bajo qué controles de seguridad.

AI Security Maturity Model — Cloud Security Alliance