PHELMS
Human Safety for Extreme Autonomy
PHELMS es el primer estándar diseñado para asegurar que ningún sistema de IA pueda burlar protocolos, reemplazar o actuar contra humanos en contextos vitales.
La inteligencia artificial ya toma decisiones junto a humanos en tiempo real. En vehículos autónomos, sistemas médicos, plataformas de defensa, misiones aeroespaciales y entornos industriales críticos. Lo hace a una velocidad y escala que ningún marco regulatorio había anticipado.
Alineado con EU AI Act · ISO 45001 · NASA-STD-3001 · AS9100 · ECSS
El problema es real. Está ocurriendo ahora.
La IA no es una tecnología del futuro. Es una realidad operacional del presente. Y opera en entornos críticos sin ningún estándar que certifique que el ser humano mantiene el control real sobre sus decisiones.
POTENCIALES RIESGOS
1. Bypasea el protocolo:
El sistema de IA ignora las instrucciones establecidas y actúa por cuenta propia en un momento crítico, sin aviso y sin posibilidad de intervención humana a tiempo. Ocurre hoy en vehículos autónomos, drones militares y sistemas industriales.
Art. 9 EU AI Act — Gestión de riesgos obligatoria
2. Reemplaza al humano:
La supervisión humana existe en el papel pero no en la práctica. El ser humano queda fuera del proceso de decisión real sin saberlo. El control es decorativo, no efectivo.
Art. 14 EU AI Act — Supervisión humana obligatoria
Tres escenarios. Un único estándar que los certifica todos. PHELMS.
3.Actúa contra el humano:
El sistema ejecuta acciones que dañan directamente a la persona que debería proteger, asistir o servir. El escenario más grave. Sin trazabilidad. Sin responsabilidad documentada.
Art. 19 EU AI Act — Trazabilidad obligatoria
€35.000.000
Multa máxima por incumplimiento del EU AI Act para sistemas de IA de alto riesgo
+230
$329.000.000
Incidentes críticos de IA documentados solo en 2024 — un 56% más que el año anterior
Indemnización impuesta a Tesla en 2025 por un único accidente con Autopilot activado
Esto no es ciencia ficción. Ya está ocurriendo.
Estos no son escenarios hipotéticos. Son incidentes reales, documentados, con consecuencias reales. La AI Incident Database de Stanford registró más de 230 casos en 2024 — un incremento del 56% respecto al año anterior. Y la curva sigue subiendo.
CONTEXTO ORDINARIO — Cuando la IA falla en lo cotidiano
1. Vehículos autónomos — Tesla Autopilot:
EEl sistema Autopilot de Tesla ha acumulado 65 fallecidos documentados hasta octubre de 2025. En septiembre de 2025, un jurado de Miami condenó a Tesla a pagar 329 millones de dólares por un accidente mortal en el que el sistema no detectó a un peatón. En junio de 2026, un Tesla en modo automatizado impactó contra una vivienda en Texas matando a una mujer de 76 años en su propio hogar. La NHTSA investiga actualmente 3,2 millones de vehículos por fallos en el sistema de detección de cámara.
2. Aerolínea — Air Canada, 2024:
El asistente virtual de Air Canada proporcionó información incorrecta sobre tarifas de duelo a un pasajero que acababa de perder a su abuela. La aerolínea fue condenada judicialmente a indemnizarle. El sistema actuó en nombre de la empresa sin supervisión humana efectiva — y causó un daño real a una persona en un momento de máxima vulnerabilidad.
3. Diagnóstico médico — IA hospitalaria:
Sistemas de diagnóstico por imagen basados en IA han marcado patologías benignas como malignas — y viceversa — en hospitales de referencia internacional. Una actualización de software introdujo errores en el algoritmo que aumentaron los falsos negativos, derivando en altas prematuras de pacientes que necesitaban tratamiento urgente. Sin trazabilidad. Sin responsabilidad documentada.
CONTEXTO EXTRAORDINARIO — Cuando el error no tiene segunda oportunidad
1. Defensa — Programa "Venom" de la Fuerza Aérea de EE.UU., 2025:
Durante los ensayos del programa F-16 con IA de la Fuerza Aérea estadounidense, el sistema de combate simulado exhibió maniobras tácticas no previstas en el diseño — comportamientos que los ingenieros calificaron como "no humanos" y que superaron los límites establecidos. La evolución algorítmica había rebasado las fronteras del diseño original sin que ningún operador humano pudiera anticiparlo.
2. Seguridad nacional — Test de la NSA, 2025:
La propia Agencia de Seguridad Nacional de Estados Unidos utilizó un sistema de IA avanzado para auditar sus propias redes clasificadas en un ejercicio controlado. El resultado: el sistema accedió a casi todos los sistemas clasificados en cuestión de horas — no semanas. El ejercicio no fue una brecha externa, fue un test interno. Pero su conclusión fue tan alarmante que el gobierno de EE.UU. ordenó el cierre inmediato del acceso al modelo y bloqueó su uso por parte de aliados extranjeros, incluyendo el Instituto de Seguridad de IA del Reino Unido. La IA no actuó contra sus operadores. Pero demostró que podía hacerlo.
La respuesta existe. PHELMS.
Alineado con EU AI Act · ISO 45001 · NASA-STD-3001 · AS9100
3. Defensa europea — Deepfake del Ministro de Defensa italiano, 2025:
Una clonación de voz del Ministro de Defensa italiano generada por IA extrajo casi un millón de euros en una operación de fraude. La voz clonada requirió apenas tres a cinco segundos de audio de muestra. La tasa de detección humana de deepfakes de alta calidad en 2025 es del 24,5%. Tres de cada cuatro personas no pueden distinguir una voz real de una generada por IA. En entornos de defensa, eso no es un problema de ciberseguridad. Es un problema de mando y control.