Seguridad y escalado responsable · la IA con cabeza

§1 ¿Por qué preocuparse por la seguridad de una IA?

La seguridad no es «lo aburrido del final»: es lo que hace que puedas confiar en la herramienta.

§2 La apuesta de Anthropic: potente y segura

Anthropic —la empresa que hace Claude— nació con esta idea en el centro: que una IA puede ser muy útil y segura a la vez, no lo uno a costa de lo otro. Mucha gente lo plantea como «o avanzas o frenas». Anthropic responde: las dos cosas.

Una comparación que ellos mismos usan: es como la industria del automóvil o la aviación, donde se prueba a fondo la seguridad antes de sacar el producto al mercado. Nadie quiere que dejen de fabricar aviones; lo que quieres es que los prueben bien antes de que vueles tú dentro. La seguridad no frena el avance: es lo que te deja subir tranquilo.

§3 Constitutional AI, masticado

¿Cómo consigues que una IA se porte bien en millones de situaciones, muchas que nadie ha previsto? Hay dos caminos:

• El bruto: que un ejército de personas revise respuesta por respuesta diciendo «esto sí, esto no». Infinito e imposible de cubrir.
• El elegante: darle a la IA una «constitución» —un conjunto de principios escritos sobre cómo debe comportarse— y enseñarla a aplicarlos ella sola.

Eso es Constitutional AI. En vez de depender de que un humano etiquete a mano cada respuesta dañina, se le da al modelo una «constitución» con la que evalúa sus propias respuestas. Claude genera una respuesta, se pregunta «¿esto encaja con mis principios? ¿es respetuoso, honesto, no hace daño?», y si no, se corrige solo antes de dártela.

Analogía: es la diferencia entre tener un código de circulación (normas que aplicas a cualquier cruce, aunque no lo hayas visto nunca) y tener un guardia en cada esquina diciéndote qué hacer. La constitución le da a Claude el código, para que sepa «conducir» bien en calles nuevas.

¿Por qué es tan buena idea? Porque escala (los principios valen para casos infinitos), es transparente (están escritos, se pueden leer) y da coherencia (siempre los mismos valores).

§4 Útil, honesto e inofensivo

Si resumes esa constitución en tres palabras, son los tres principios que guían el comportamiento de Claude:

• Útil: que de verdad te ayude con lo que necesitas, sin escaquearse.
• Honesto: que diga la verdad, no se invente cosas y reconozca lo que no sabe.
• Inofensivo: que no cause daño ni se preste a ello.

La gracia está en el equilibrio: los tres a la vez. Una IA solo «inofensiva» que no ayuda a nada es inútil; una solo «útil» que te miente o te ayuda a hacer daño es peligrosa. El arte es servir a los tres.

En 2026 estos principios se han organizado en capas —los universales (estos tres) y otros sobre cómo usar herramientas y actuar como agente con responsabilidad—, pero el corazón son estos tres.

§5 Escalado responsable (los «niveles de seguridad»)

Anthropic tiene una política de escalado responsable con una idea sencilla: cuanto más potente es un modelo, más salvaguardas se le exigen antes de soltarlo al mundo. Para medirlo usa unos «niveles de seguridad» (los llama ASL), inspirados en los niveles de bioseguridad de los laboratorios — esos donde, cuanto más peligroso es lo que manejas, más medidas hacen falta:

• Nivel bajo: un modelo que no puede causar daño serio (por ejemplo, una IA que solo juega al ajedrez).
• Nivel medio: los modelos actuales, como Claude — capaces, pero sin poder provocar una catástrofe.
• Niveles altos: para modelos futuros mucho más potentes, que exigirían medidas mucho más estrictas antes de salir.

La promesa de fondo: si un modelo es tan capaz que podría ser peligroso, no se suelta hasta tener las protecciones a la altura — y el equipo de seguridad puede frenar o retrasar un lanzamiento si no se cumplen los umbrales de riesgo.

§6 Qué significa esto para ti

Todo esto explica algo que seguramente has notado: a veces Claude dice que no. Te pide reformular, o se niega a algo. Puede dar rabia, pero detrás están sus principios en acción. No es un capricho ni un fallo: es la IA aplicando su «no hagas daño».

Y esto juega a tu favor más de lo que parece:

• Puedes fiarte de lo que te dice (porque «honesto» está en su núcleo).
• Puedes usarla en cosas serias sabiendo que no se prestará a cualquier cosa.
• Si alguien intentara usar la IA contra ti o contra otros, esas mismas barreras lo frenan.

Eso sí: ninguna IA es perfecta. Por eso lo que has aprendido en todo el curso —revisar lo que te da, mantener el humano en el bucle, no delegar a ciegas— es tu mejor seguro.

§7 Chuleta del módulo

§8 Examen del módulo

Marca una respuesta y te digo al instante si va bien, con el porqué. Al final, tu nota.