El Pentágono pide transparencia en las Inteligencias Artificiales antes de su implementación completa

Craig Martell, el oficial principal de digitalización y inteligencia artificial del Pentágono, busca que las empresas compartan información sobre cómo se construye su software de IA, sin renunciar a su propiedad intelectual, para que el departamento pueda «sentirse cómodo y seguro» al adoptarlo.

El software de inteligencia artificial se basa en grandes modelos de lenguaje, conocidos como LLM (por sus siglas en inglés), que utilizan conjuntos masivos de datos para alimentar herramientas como chatbots y generadores de imágenes. Estos servicios suelen ofrecerse sin mostrar su funcionamiento interno, en lo que se conoce como una «caja negra». Esto dificulta que los usuarios comprendan cómo la tecnología toma decisiones o qué la hace mejorar o empeorar en su desempeño con el tiempo.

«Estamos obteniendo solo el resultado final de la construcción del modelo, y eso no es suficiente», señaló Martell en una entrevista. El Pentágono no tiene idea de cómo están estructurados los modelos o qué datos se han utilizado, afirmó.

Las empresas tampoco están explicando los peligros que sus sistemas podrían representar, según Martell. «Están diciendo: ‘Aquí está. No te diremos cómo lo construimos. No te diremos en qué es bueno o malo. No te diremos si está sesgado o no'», dijo.

Martell describió estos modelos como equivalentes a «tecnología alienígena encontrada» para el Departamento de Defensa. También expresó su preocupación de que solo unos pocos grupos de personas tengan suficiente dinero para construir LLM, aunque no identificó ninguna empresa por nombre. Sin embargo, empresas como Microsoft Corp., Google de Alphabet Inc. y Amazon.com Inc. están desarrollando LLM para el mercado comercial, junto con startups como OpenAI y Anthropic.

Martell está invitando a la industria y académicos a Washington en febrero para abordar estas preocupaciones. El simposio del Pentágono sobre datos de defensa e IA tiene como objetivo determinar qué tareas pueden ser adecuadas para que los LLM las manejen, afirmó.

El equipo de Martell, que ya está ejecutando un grupo de trabajo para evaluar los LLM, ha encontrado 200 usos potenciales para ellos dentro del Departamento de Defensa, según dijo. «No queremos detener los modelos de lenguaje grandes», expresó. «Solo queremos comprender su uso, beneficios, peligros y cómo mitigarlos».

Martell señaló que dentro del departamento existe un «gran interés» de personas que desean utilizar LLM, pero también reconocen que si la tecnología «alucina» -un término utilizado cuando el software de IA fabrica información o entrega un resultado incorrecto, lo cual no es infrecuente-, son ellos quienes deben asumir la responsabilidad.

Espera que el simposio de febrero ayude a construir lo que llamó «un modelo de madurez» para establecer estándares relacionados con la alucinación, el sesgo y el peligro. Si bien podría ser aceptable que el primer borrador de un informe incluya errores relacionados con la IA, algo que un ser humano podría corregir más tarde, estos errores no serían aceptables en situaciones más críticas, como la información necesaria para tomar decisiones operativas.

Una sesión clasificada en el evento de febrero de tres días se centrará en cómo probar y evaluar modelos, así como en la protección contra piratería.

Martell dijo que su oficina desempeña un papel de consultoría dentro del Departamento de Defensa, ayudando a diferentes grupos a determinar la mejor manera de medir el éxito o el fracaso de sus sistemas. La agencia tiene más de 800 proyectos de IA en marcha, algunos de ellos relacionados con sistemas de armas.

Dado lo que está en juego, Martell señaló que el Pentágono aplicará un estándar más alto en cuanto a cómo utiliza los modelos algorítmicos en comparación con el sector privado. «Habrá muchos casos en los que las vidas estén en juego», dijo. «Por lo tanto, permitir la alucinación o cualquier otro error simplemente no será aceptable».

El llamado a la transparencia y la comprensión de la inteligencia artificial por parte del Departamento de Defensa marca un hito importante en el desarrollo y aplicación de esta tecnología en el ámbito militar, y plantea preguntas cruciales sobre cómo equilibrar la innovación con la seguridad y la ética en un mundo cada vez más impulsado por la IA.

Vía Bloomberg.