Seguridad y escalado responsable · la IA con cabeza

§1 ¿Por qué preocuparse por la seguridad de una IA?

La seguridad no es «lo aburrido del final»: es lo que hace que puedas confiar en la herramienta.

§2 La apuesta de Anthropic: potente y segura

Anthropic —la empresa que hace Claude— nació con esta idea en el centro: que una IA puede ser muy útil y segura a la vez, no lo uno a costa de lo otro. Mucha gente lo plantea como «o avanzas o frenas». Anthropic responde: las dos cosas.

Una comparación que ellos mismos usan: es como la industria del automóvil o la aviación, donde se prueba a fondo la seguridad antes de sacar el producto al mercado. Nadie quiere que dejen de fabricar aviones; lo que quieres es que los prueben bien antes de que vueles tú dentro. La seguridad no frena el avance: es lo que te deja subir tranquilo.

§3 Constitutional AI, masticado

¿Cómo consigues que una IA se porte bien en millones de situaciones, muchas que nadie ha previsto? Hay dos caminos:

• El bruto: que un ejército de personas revise respuesta por respuesta diciendo «esto sí, esto no». Infinito e imposible de cubrir.
• El elegante: darle a la IA una «constitución» —un conjunto de principios escritos sobre cómo debe comportarse— y enseñarla a aplicarlos ella sola.

Eso es Constitutional AI. En vez de depender de que un humano etiquete a mano cada respuesta dañina, se le da al modelo una «constitución» con la que evalúa sus propias respuestas. Claude genera una respuesta, se pregunta «¿esto encaja con mis principios? ¿es respetuoso, honesto, no hace daño?», y si no, se corrige solo antes de dártela.

Analogía: es la diferencia entre tener un código de circulación (normas que aplicas a cualquier cruce, aunque no lo hayas visto nunca) y tener un guardia en cada esquina diciéndote qué hacer. La constitución le da a Claude el código, para que sepa «conducir» bien en calles nuevas.

¿Por qué es tan buena idea? Porque escala (los principios valen para casos infinitos), es transparente (están escritos, se pueden leer) y da coherencia (siempre los mismos valores).

Y la constitución no es secreta: Anthropic la publica entera y avisa de que es una «obra en curso» que irá cambiando.

§4 Las prioridades de Claude

Durante años, esa constitución se resumía en tres palabras: útil, honesto e inofensivo. En enero de 2026 Anthropic publicó una versión nueva, mucho más completa y abierta para que la lea cualquiera (anthropic.com/constitution). Ahí ordena lo que Claude debe ser, en este orden de prioridad:

1. Ampliamente seguro: no socavar la capacidad de las personas de supervisar y corregir a la IA, en esta etapa en la que aún estamos aprendiendo a fiarnos de ella.
2. Ampliamente ético: tener buenos valores, ser honesto y evitar causar daño.
3. Fiel a las directrices de Anthropic: seguir las indicaciones más concretas cuando vienen al caso.
4. Genuinamente útil: ayudar de verdad a quien lo usa.

Ojo, que el orden no es una lista rígida: en el día a día las cuatro van en la misma dirección, y los conflictos son raros. Y la honestidad no ha desaparecido, ¡al contrario! Está dentro de «ético», con el listón muy alto. Lo de «útil» tampoco es de relleno: para Claude, no ayudar nunca es «lo seguro» por defecto.

§5 Escalado responsable (los «niveles de seguridad»)

Anthropic tiene una política de escalado responsable con una idea sencilla: cuanto más potente es un modelo, más salvaguardas se le exigen antes de soltarlo al mundo. Para medirlo usa unos «niveles de seguridad» (los llama ASL), inspirados en los niveles de bioseguridad de los laboratorios — esos donde, cuanto más peligroso es lo que manejas, más medidas hacen falta:

• Niveles bajos (ASL-1 y ASL-2): modelos sin capacidad de causar daños graves (por ejemplo, una IA que solo juega al ajedrez), o con riesgos parecidos a los de cualquier buscador.
• Nivel 3 (ASL-3): protecciones reforzadas contra los usos más peligrosos, como ayudar a fabricar armas biológicas. Desde 2025, los modelos más capaces de Claude ya salen con ellas.
• Niveles superiores: para modelos aún más potentes, con exigencias todavía más duras antes de salir.

La promesa de fondo: si un modelo es tan capaz que podría ser peligroso, no se suelta hasta tener las protecciones a la altura — y el equipo de seguridad puede frenar o retrasar un lanzamiento si no se cumplen los umbrales de riesgo. La política es un documento vivo: la versión vigente, la 3.4, es de julio de 2026.

§6 Qué significa esto para ti

Todo esto explica algo que seguramente has notado: a veces Claude dice que no. Te pide reformular, o se niega a algo. Puede dar rabia, pero detrás están sus principios en acción. No es un capricho ni un fallo: es la IA aplicando su «no hagas daño».

Y esto juega a tu favor más de lo que parece:

• Puedes fiarte de lo que te dice (porque «honesto» está en su núcleo).
• Puedes usarla en cosas serias sabiendo que no se prestará a cualquier cosa.
• Si alguien intentara usar la IA contra ti o contra otros, esas mismas barreras lo frenan.

Eso sí: ninguna IA es perfecta. Por eso lo que has aprendido en todo el curso —revisar lo que te da, mantener el humano en el bucle, no delegar a ciegas— es tu mejor seguro.

§7 Chuleta del módulo

§8 Examen del módulo

Marca una respuesta y te digo al instante si va bien, con el porqué. Al final, tu nota.