Seguridad en IA (AI Safety)

El campo de investigación dedicado a garantizar que los sistemas de IA sean seguros, confiables y alineados con los valores humanos a medida que se vuelven más potentes. Estudia cómo evitar comportamientos no deseados.

Como los ingenieros que diseñan los frenos, airbags y sistemas de estabilidad de un coche. No te impiden conducir; trabajan para que si algo sale mal, el daño sea mínimo.

Anthropic (la empresa detrás de Claude) tiene AI Safety como su misión central. Por eso Claude tiene restricciones que a veces pueden parecer excesivas: priorizan la seguridad sobre la máxima flexibilidad.