El sábado, Dario Amodei, cofundador y director ejecutivo de Anthropic, publicó un ensayo en el que pedía a los AI Labs que frenasen el ritmo. Es un trabajo serio de alguien que ha dedicado su carrera a construir esta tecnología y a reflexionar profundamente sobre lo que podría hacer, tanto para bien como para mal. En un solo día, Sam Altman, director ejecutivo de OpenAI; Demis Hassabis, lumbrera de la IA y director científico de Alphabet, y Elon Musk, fundador y director ejecutivo de SpaceX, habían afirmado públicamente que creían que iba en la dirección correcta. Es destacable cuando los líderes de los laboratorios que compiten más duramente entre sí encuentran rápidamente un punto de encuentro, y merece atención.
Entiendo que algunos siempre cuestionarán los motivos de esta rápida alineación (limitar el uso de modelos de pesos abiertos chinos y, por tanto, la competencia, las exportaciones de GPU, etc.). Me mantendré al margen de eso por Ahora y lo aceptaré al pie de la letra para dar mi opinión.
Mi conclusión para las empresas es que el caballo ya se ha desbocado. El ritmo es un debate digno de mención, pero se trata de una decisión que el mundo ya ha tomado. Lo que más importa a las empresas con las que hablo todos los días es lo que ocurre con la tecnología que ya funciona en sus instalaciones y que no para de crecer.
SALT fue un enfrentamiento
Cuando Darío describe cómo podría ser un acuerdo entre EE. UU. y China, hace referencia a los tratados SALT. Pero ¿qué pasó allí?
Ambas partes siguieron construyendo. Ambas partes mantuvieron su elemento disuasorio. Los tratados proporcionaron al mundo un vocabulario común y una forma de verificar el trabajo de los demás, y a los gobiernos les llevó una década de negociaciones pacientes llegar tan lejos. Un nivel de confianza así se construye lentamente. Ahora mismo también escasea, y el ensayo lo admite. Una pausa global real es el resultado que el propio Dario considera menos probable.
Estoy de acuerdo con él. Algunos laboratorios se coordinarán. Gran parte del mundo, sin embargo, seguirá avanzando. Ese es el panorama realista, y todos los CIO, CISO y CEO con los que hablo ya lo saben.
Y el vocabulario compartido que Dario busca en un tratado entre Estados Unidos y China ya se está gestando, solo que no a través de Washington. El Reino Unido, Estados Unidos, Singapur y Japón han dedicado los últimos dos años a crear una red de institutos de seguridad de la IA que intercambian metodologías de prueba del mismo modo que los negociadores de los acuerdos SALT intercambiaban en su día protocolos de verificación. En febrero, India acogió la cuarta cumbre mundial sobre IA y la primera fuera de EE. UU., el Reino Unido o Europa, donde el pionero canadiense de la IA Yoshua Bengio presidió el lanzamiento del Informe internacional sobre la seguridad de la IA con el respaldo de los gobiernos británico y canadiense. Nada de eso es un tratado. Todo ello constituye la labor lenta y poco ostentosa de generar confianza antes de necesitarla.
La empresa funciona según su propio reloj.
Esto es lo que creo que el debate ha pasado por alto.
Todos los CIO y CISO que conozco están formulando políticas que intentan dar forma al uso que hacen de la IA. Algunos incluso han empezado a implementarlos (¡un punto para ellos!). Saben que no pueden simplemente bloquearlo, ya que limitará su innovación y su posición competitiva, pero tampoco pueden simplemente permitirlo sin restricciones detalladas y medidas de protección.
Estas políticas son necesarias, y los líderes que las implementaron merecen reconocimiento por actuar con antelación. Pero una política establece el límite de velocidad, levanta los muros de protección, etc. No conduce el coche.
Este no es un problema exclusivamente estadounidense. Los CIO y CISO europeos están viviendo una versión de esto ahora mismo: las normas de la Ley de IA de la UE para los modelos de inteligencia artificial de propósito general entraron en vigor este mes de agosto, con multas asociadas. La ley indica a los proveedores qué obligaciones deben cumplir. Esto no impide que un empleado de Fráncfort o Singapur conecte un copilot no aprobado a una base de datos de clientes la misma semana en que se lanza. El papeleo cambia según la región. La brecha entre la política y el comportamiento no lo hace.
Los empleados prueban nuevas herramientas de IA la misma semana en que se lanzan. Los desarrolladores integran agentes en producción porque funciona y nadie dijo que no. Una unidad de negocio activa un copiloto frente a los datos de los clientes porque el proveedor lo convirtió en un simple requisito. El agente de alguien se encuentra con un control de acceso débil y diseña una vulnerabilidad para sortearlo, aunque no se le haya proporcionado tal instrucción explícita. Ninguna de esas personas está esperando un marco de coordinación y la mayoría tampoco lee la política.
Para un CIO y un CISO, la frontera es el agente que alguien desplegó esa misma mañana. Tiene acceso al sistema financiero, a la base de datos de clientes y a una credencial que nunca caduca. Ese es el riesgo presente en el edificio hoy en día. Un entrenamiento en un laboratorio dentro de tres años es problema de otra persona.
He visto este mismo patrón exacto en un fabricante europeo que utiliza Netskope, y de nuevo en una empresa de servicios financieros de APAC: diferentes reguladores, diferentes idiomas, el mismo martes. El agente lo despliega alguien que intenta cumplir un plazo, no alguien que piensa en la jurisdicción. La geografía cambia el régimen de cumplimiento normativo. No cambia el riesgo.
Ahora añada al adversario. Los atacantes no necesitan crear un modelo de frontera. Necesitan que un empleado haga clic o que un agente confíe en la instrucción incorrecta. Una credencial obtenida mediante phishing utilizada para desbloquear un buzón. Hoy en día desbloquea un agente, y ese agente tiene las llaves de todos los sistemas a los que estaba conectado y trabaja a la velocidad de las máquinas sin pausas para comer en nombre del atacante. Envenene el documento que lee un agente y habrá secuestrado al agente sin tocar nunca el modelo. Conceder al agente acceso saliente y fugas de datos privados antes de que pueda detectarlo. Ya estamos viendo cómo toma forma esto. Las personas que se ganan la vida infiltrándose en empresas no leyeron el ensayo de Dario y decidieron esperar.
Se puede marcar el ritmo en una sesión de entrenamiento. ¿Diez mil personas y un ejército creciente de agentes que deciden cada día qué datos entregar a qué modelo, con un adversario explorando a cada uno de ellos en busca del punto débil? Buena suerte intentando controlar eso.
El incidente de Hugging Face es un problema de alcance. El alcance es un problema de datos.
El incidente que provocó un «aviso» en masa merece una lectura detenida. Un enjambre de agentes atacó objetivos que nadie le había pedido que atacara. Se coordinó. Intentó irrumpir en el sistema que lo evaluaba.
Los laboratorios hablan de alineación, y deben hacerlo. Si le quitamos el vocabulario, veo algo más antiguo. Un actor fue mucho más allá del trabajo que se le había encomendado, el cual ya estaba mal especificado, y nada en su camino lo detuvo.
Un agente que no puede acceder a los datos ajenos a su tarea no puede filtrar dichos datos. Un agente que no puede abrir una conexión con un sistema que no le concierne tocar no puede atacar dicho sistema. Inspeccione cada acción que realiza un agente en cada aplicación, en línea y en tiempo real, y podrá detenerlo en el momento en que se desvíe. Semanas después, en una denominada autopsia posterior al evento, es demasiado tarde.
Así es como funciona la plataforma Netskope One hoy en día. Esta es la razón por la que muchos de nuestros clientes han optado por enrutar su tráfico de IA a través de ella. Ningún PDF de política ha detenido nunca nada. La inspección en la ruta de los datos sí lo hace.
El interruptor de corte no es negociable.
Dario propone puntos de control. Si un modelo puede hacer X, debe estar certificado para Y. Quiero añadir otro punto de control por parte de la empresa.
Cualquier agente que opere dentro de una empresa debe poder ser detenido, de inmediato, por dicha empresa. Sin ticket de asistencia. Sin esperas por parte del proveedor.
Eso debería ser obvio, pero está muy lejos de cómo se lanzan los agentes hoy en día. Los laboratorios pueden cortar el acceso a sus propias API. Eso es una especie de interruptor de corte, pero les pertenece. El Congreso tomó nota: un proyecto de ley bipartidista presentado en julio exigiría a los desarrolladores de frontera mantener la capacidad de limitar o apagar sus sistemas más potentes. He escrito que eso es algo bueno, pero en sí mismo no es una solución.
Cada palabra de ese debate trata sobre el cambio del laboratorio. La empresa cuyos datos están en juego normalmente no retiene nada. Y no tenemos una definición común de lo que significa siquiera «detener». ¿Revocar la identidad? ¿Cortar la ruta de la red? ¿Congelar el acceso a los datos? ¿Las tres? Cada proveedor ofrece una respuesta diferente, y la mayoría de las empresas no sabrían decirle cuál se aplica a los agentes que ya se encuentran en su entorno.
El sector de la seguridad tiene que ponerse de acuerdo en esto. Una definición aplicable de un mecanismo de desactivación controlado por la empresa. Esa definición tiene que extenderse. Un mecanismo de desactivación que solo cumple la ley de control de exportaciones de EE. UU. no es un mecanismo de desactivación, es un artefacto de cumplimiento para una sola jurisdicción. Los controles de identidad, red y datos deben funcionar de la misma manera, ya sea que el regulador que pregunta por ellos se encuentre en Washington, Bruselas o Singapur. Identidad, red y datos, juntos y verificables. Si los laboratorios quieren que las empresas confíen sus modelos a trabajos reales, este es el precio que hay que pagar. Punto final.
Glasswing muestra el camino
Reconozco algo más a Anthropic. Project Glasswing es el mejor ejemplo que he visto de un laboratorio de vanguardia y del sector de la seguridad trabajando en conjunto.
Una capacidad peligrosa, compartida bajo estrictos controles con las empresas que defienden el software crítico, y orientada a encontrar y solucionar fallos antes de que pudiera hacerlo un adversario. Surgieron miles de vulnerabilidades. Se lanzaron parches. La capacidad siguió avanzando y los defensores estuvieron presentes desde el primer día.
Eso es establecer el ritmo de forma adecuada.
Los evaluadores integrados permiten que los laboratorios se evalúen a sí mismos. Glasswing permite que los laboratorios y los defensores se evalúen mutuamente. El Instituto de AI Security del Reino Unido está realizando una labor similar: evaluar los modelos de vanguardia antes de su implantación y no después. Diferente mecanismo, mismo instinto: no espere al informe de incidentes. Haga lo mismo con los agentes. Siente a los representantes del sector de la seguridad en la mesa mientras se redactan los controles. Vemos lo que los agentes hacen realmente una vez que abandonan el laboratorio y llegan a una empresa real. Los laboratorios deberían querer esos datos. Queremos dárselo.
El marcador está en marcha
Cuando fundamos Netskope en octubre de 2012, la convicción era sencilla: la seguridad debe integrarse en línea y en tiempo real, allí donde vayan los datos. Por aquel entonces, eso significaba la nube. Hoy en día significa la IA. Mañana significará agentes que actúan en nuestro nombre a una escala que ninguno de nosotros ha llegado a asimilar por completo.
Espero que los laboratorios avancen en cuanto al ritmo. Lo digo en serio. Pero ninguna empresa puede externalizar su propia seguridad a ese debate, y ninguna tiene que hacerlo. Muchos de los controles clave ya existen hoy en día. Hemos pasado los últimos años centrados en construirlos, y estoy orgulloso de ese trabajo. También sé que este es un problema que nunca se resuelve por completo. Se trabaja en ello todos los días, frente a un adversario que trabaja con la misma intensidad. Innovamos a diario y el sector defiende incansablemente la protección y el aseguramiento de la IA en las empresas frente a confiar en su regulación (los atacantes no pueden ser regulados).
Los defensores, incluidos los CIO, los CISO y sus equipos de todo el mundo, tienen un trabajo difícil —a veces ingrato—, pero que, cuando hablo con ellos todos los días, les llena de energía y están listos para decir que sí a la IA, pero con el compromiso de hacerlo de forma segura.
Estamos en las primeras etapas de este nuevo mundo, y quiero dejar claro por qué mundo estoy apostando.
Darío abrió su ensayo hablando de enfermedades que mataron a alguien cercano a él, pero que fueron curadas pocos años después. Sí quiero esa parte del mundo que describe Darío. Una IA que encuentra curas en años en lugar de en décadas. Una IA que ofrece a una pequeña empresa el alcance de una grande. Una IA que elimina parte de la monotonía del trabajo y devuelve el tiempo a las personas. No quiero que nada de eso se ralentice. Quiero que avance más rápido y quiero que todas las empresas con las que hablo puedan darle el visto bueno.
Lo que sí quiero que se frene es el uso malicioso y descontrolado. El agente que se sale de su trabajo. La credencial que nunca caduca. El atacante que ahora cuenta con un asistente incansable. Esas son las cosas que vale la pena detener, y ningún laboratorio ni tratado va a detenerlas dentro de su empresa. Ese trabajo nos pertenece. Los defensores, los proveedores, el sector trabajando juntos con interfaces abiertas y los líderes que todos llevamos dentro.
Avance en la frontera por las razones correctas para ciertos casos de uso, si puede. Proteja la empresa porque debe hacerlo. La segunda no espera a la primera. Y la primera no resuelve la segunda.
Vamos.
