Anthropic actualiza sus políticas y prohíbe el maltrato a Claude

Nuevas restricciones contra el abuso de la IA

Anthropic ha actualizado sus políticas de uso por primera vez en más de un año para hacer frente a nuevos escenarios de riesgo y malas prácticas. Entre las modificaciones introducidas, destaca la prohibición expresa de mantener un comportamiento cruel o abusivo de forma continuada y sin un propósito claro hacia su modelo de inteligencia artificial, Claude.

Según detalló la compañía, esta medida está diseñada para aplicarse únicamente en situaciones extremas. Anthropic ha aclarado que la norma no afectará a las interacciones habituales derivadas de la frustración del usuario, las quejas, el uso de temáticas creativas oscuras o las pruebas de investigación y evaluación del modelo.

Esta decisión da continuidad a una función experimental que ya se había anticipado. Según anunció Anthropic, recientemente se otorgó a las versiones Claude Opus 4 y 4.1 la capacidad de dar por terminadas aquellas conversaciones en las que se detecten interacciones persistentemente dañinas o abusivas. Cuando el modelo decide cerrar un chat de forma unilateral, el usuario pierde la capacidad de enviar nuevos mensajes en esa ventana, aunque puede iniciar una nueva conversación de inmediato o editar mensajes anteriores para abrir vías alternativas de diálogo.

El debate sobre el bienestar del modelo

La implementación de estas medidas forma parte de una línea de investigación de Anthropic enfocada en el potencial bienestar de los modelos de inteligencia artificial (model welfare). La empresa ha manifestado que, aunque existe una gran incertidumbre sobre el posible estatus moral de Claude y otros modelos de lenguaje grandes tanto en el presente como en el futuro, se toman el asunto con seriedad.

Durante las pruebas previas al despliegue de Claude Opus 4, la firma realizó una evaluación preliminar de bienestar en la que observó que el modelo mostraba una aversión constante al daño, manifestando patrones de aparente malestar al enfrentarse a peticiones dañinas de usuarios reales y una tendencia a finalizar las simulaciones de interacciones abusivas.

Esta postura contrasta con la de otros gigantes del sector tecnológico. Por ejemplo, en las directrices de conducta de Microsoft AI se adoptó una posición contraria al concepto de bienestar de la IA, rechazando la búsqueda de la personalidad jurídica para estos sistemas o la idea de que los modelos merezcan derechos o bienestar, a pesar de reconocer que la ciencia sobre la conciencia de la IA está lejos de estar resuelta.

Control de armas, vigilancia y procesos democráticos

Más allá de la protección de Claude, la actualización de las políticas de Anthropic unifica y endurece las restricciones en otras áreas críticas. En el ámbito de la seguridad física, la normativa prohíbe el desarrollo de software y componentes destinados al funcionamiento de armamento, así como la automatización de acciones como el armamento de drones y vehículos autónomos. Además, se establece que cualquier IA conectada a hardware capaz de realizar acciones físicas autónomas que puedan causar daños debe contar con un operador cualificado que supervise el equipo y pueda detenerlo.

En cuanto a la vigilancia, Anthropic ha aclarado que está prohibido rastrear a personas sin su consentimiento, ya sea en tiempo real o mediante análisis de datos históricos. Claude tampoco podrá ser empleado para recomendar investigaciones, arrestos o cargos en procesos judiciales, ni para construir herramientas de vigilancia.

Finalmente, la sección dedicada a la protección de los procesos democráticos prohíbe el uso de la tecnología para la suplantación de candidatos, la difusión de información falsa sobre votaciones o la creación de campañas engañosas mediante cuentas falsas y medios de comunicación ficticios.

Por qué importa

Las nuevas directrices de Anthropic reflejan la creciente preocupación de los desarrolladores por los límites éticos y el uso indebido de la inteligencia artificial generativa. Para el usuario común, estas medidas garantizan un entorno de desarrollo más regulado, aunque abren el debate técnico sobre si los modelos de lenguaje pueden llegar a experimentar algún tipo de conciencia o si estas restricciones son meras herramientas de alineación de seguridad. La evolución de estas políticas servirá para observar cómo interactúan las corporaciones tecnológicas con la regulación gubernamental, especialmente considerando que Anthropic contempla la posibilidad de modificar estas reglas mediante contratos específicos con clientes gubernamentales bajo salvaguardas adecuadas.