En un momento histórico donde la Inteligencia Artificial avanza a una velocidad que desafía la capacidad de control de los Estados, Valencia ha dado un paso definitivo para liderar la gobernanza tecnológica global a través de la Fundación ValgrAI. Tras cuatro meses de rigurosa formación y desarrollo, el International Programme on AI Evaluation: Capabilities & Safety ha clausurado su edición inaugural, transformando a la ciudad en el núcleo de una disciplina académica naciente: la evaluación científica de la IA.

De este modo, este novedoso programa ha impulsado la primera generación mundial de evaluadores de la Inteligencia Artificial. 40 participantes seleccionados de entre las 673 candidaturas procedentes de todo el mundo.

El hecho, de que este programa haya nacido en Valencia, no es casual, ya que su dirección académica está encabezada por José Hernández-Orallo, catedrático de la Universitat Politècnica de València (UPV), Director de Investigación en el Leverhulme Centre for the Future of Intelligence (LCFI) de la Universidad de Cambridge, y uno de los investigadores más reconocidos del mundo en evaluación de IA. No en vano, recientemente ha sido nombrado miembro del Panel Científico que asesorará a la Comisión Europea sobre los riesgos de la IA más avanzada.

El claustro se completa con más de 45 docentes de instituciones como la Universidad de Cambridge, Google DeepMind, Microsoft Research, la Oficina Europea de IA o el AI Security Institute británico. Este programa, pionero a nivel mundial, no se centra en la construcción de modelos, sino en su examen exhaustivo. Bajo el auspicio de ValgrAI (Red Valenciana de Investigación y Escuela de Posgrado en IA) la Universitat Politècnica de València (UPV), y con el respaldo de la fundación filantrópica Coefficient Giving  y BERI, esta iniciativa ha formado a la primera «cantera» de profesionales capaces de certificar si un sistema de IA es seguro antes de su despliegue masivo.

La vertiente regulatoria ha contado con la participación directa de responsables de la Oficina Europea de IA y el AI Security Institute del Reino Unido, asegurando que los alumnos no solo dominen la técnica, sino también el marco legal que regirá el futuro de la tecnología. La dirección académica ha corrido a cargo del catedrático José Hernández-Orallo, integrante de la Unidad de Investigación de ValgrAI y recientemente nombrado por la Comisión Europea como miembro del Panel Científico del Reglamento Europeo de IA.

En este sentido, el Director Académico Principal, José Hernández Orallo, ha señado que “la IA avanza más rápido que nuestra capacidad para evaluar sus capacidades y riesgos. Reguladores, laboratorios y gobiernos de todo el mundo buscan profesionales capaces de realizar este trabajo con rigor y, hasta ahora, ninguna universidad lo enseñaba. Este programa es el primer paso para convertir la evaluación de la IA en una disciplina en la que el mundo pueda confiar”.

Cuatro meses de formación: De la teoría online a la práctica Valencia

El programa se ha desarrollado a lo largo de un ciclo académico intensivo de 15 créditos ECTS, estructurado para transformar el talento global en una comunidad profesional cohesionada.

Concretamente, la Fase de Especialización ha consistido en 10 módulos online y más de 70 horas de clases en directo, los participantes profundizaron en metodología experimentales, red-teaming (ataques simulados para detectar fallos), interpretabilidad de modelos y gobernanza; la Fase de Mentoría y Proyectos ha motivado que  equipos internacionales trabajaron de forma remota, guiados por mentores de instituciones como el Leverhulme Centre for the Future of Intelligence, para diseñar pruebas aplicables a sistemas de IA reales y la fase final, que se ha realizado de manera presencial en Valencia, ha congregado a los 40 especialistas. Durante esa semana, se impartieron cursos avanzados sobre riesgos de mal uso (amenazas biológicas y cibernéticas) y se presentaron los proyectos finales ante un panel de expertos internacionales.

Los 11 equipos internacionales presentaron sus proyectos finales abordando algunos de los desafíos más complejos y relevantes que plantea la inteligencia artificial avanzada en la actualidad. Los trabajos se centraron en la evaluación de sistemas reales de IA sobre cuestiones de vanguardia como el desalineamiento emergente en modelos de lenguaje, el comportamiento y la toma de decisiones de agentes autónomos, el uso de la IA como amplificador de campañas de desinformación, los posibles impactos cognitivos sobre los usuarios y la pérdida de autonomía individual, así como la interpretabilidad de los mecanismos de persuasión adversarial y las diferencias existentes entre las pruebas de evaluación y el posterior despliegue de los modelos. Asimismo, varios proyectos analizaron cómo mejorar la alfabetización en evaluación de IA entre las organizaciones que incorporan estas tecnologías a sus actividades.

Más allá del elevado nivel técnico de las propuestas, uno de los aspectos más destacados del programa fue su marcado carácter interdisciplinar e internacional. Cada equipo integró deliberadamente perfiles procedentes tanto del ámbito tecnológico como de la gobernanza, las políticas públicas y la regulación, fomentando una visión holística de la evaluación de la IA.

Esta diversidad permitió que participantes de países tan distintos como Nigeria, China, Australia y Estados Unidos trabajaran conjuntamente para aportar soluciones rigurosas a algunos de los retos que marcarán el desarrollo y la adopción segura de la inteligencia artificial en los próximos años.

Diversidad Global: Una lengua común para la seguridad

El programa ha logrado una representatividad geográfica excepcional, fundamental para que los estándares de evaluación no sean exclusivos de Silicon Valley. Los 40 seleccionados (entre más de 1.500 expresiones de interés), proceden de 25 países, con una fuerte presencia de China (9), India (6), Estados Unidos (5) y Reino Unido (4), además de expertos de Nigeria, México, Ecuador, Camerún, Filipinas y Ucrania. Además de 3 representantes de España.

La visión de futuro de ValgrAI y sus socios es ambiciosa: establecer la evaluación de IA como una disciplina académica con entidad propia. El éxito de esta primera edición sienta las bases para una segunda edición que siga avanzando en la Evaluación de la IA.

Con el Reglamento Europeo de IA exigiendo pruebas rigurosas para sistemas de alto riesgo, esta primera promoción se sitúa en la vanguardia de una profesión que será obligatoria y crítica para la estabilidad económica y social de la próxima década. Valencia no solo ha acogido un curso; ha fundado la disciplina que decidirá si el mundo puede, o no, confiar en la Inteligencia Artificial.

La Directora Gerente, Ana Cidad, ha concluido que “la evaluación de la inteligencia artificial será una de las competencias más estratégicas de la próxima década. Los profesionales que hoy aprenden a evaluar estos sistemas serán quienes ayuden a decidir mañana cómo se desarrollan, regulan y utilizan. Nos enorgullece que Valencia y ValgrAI formen parte de este movimiento desde sus inicios.»