Editor Top
Anthrope ha introducido un nueva característica en sus modelos Claude Opus 4 y 4.1 Eso permite que la herramienta generativa de IA (Genai) termine una conversación por sí sola si un usuario intenta repetidamente presionar contenido dañino o ilegal.
Se supone que el nuevo comportamiento solo se usa cuando todos los intentos de redirigir una conversación han fallado o cuando un usuario solicita que la conversación se termine. No está diseñado para ser activado en situaciones en las que las personas corren el riesgo de dañarse a sí mismas o a los demás. Los usuarios aún pueden iniciar nuevas conversaciones o continuar una anterior editando sus respuestas.
El propósito de la característica no es proteger a los usuarios; es para el modelo en sí. Si bien Anthrope enfatiza que no considera que Claude sea sensible, las pruebas encontraron que el modelo mostró una fuerte resistencia y «incomodidad aparente» a ciertos tipos de solicitudes. Por lo tanto, la compañía ahora está probando medidas para un mejor «bienestar de la IA», en caso de que se vuelva relevante en el futuro.
