Preguntas y respuestas: Desempacar a Deepseek: Distilación, Ética y Seguridad Nacional

Desde que la startup de IA china Deepseek lanzó su poderoso modelo de lenguaje grande R1, ha enviado ondas a través de Silicon Valley y el mercado de valores de EE. UU., Provendiendo una amplia discusión y debate.

Ambuj Tewari, profesor de estadísticas en la Universidad de Michigan y un experto líder en inteligencia artificial y aprendizaje automático comparte sus ideas sobre los aspectos técnicos, éticos y relacionados con el mercado del avance de Deepseek.

Operai ha acusado a Deepseek de usar la destilación modelo para entrenar sus propios modelos basados ​​en la tecnología de OpenAI. ¿Puede explicar cómo funciona típicamente la destilación del modelo, y en qué circunstancias se puede considerar ética o conforme con las mejores prácticas de desarrollo de IA?

La destilación del modelo o conocimiento generalmente implica generar respuestas del modelo más fuerte para entrenar un modelo más débil para que el modelo más débil mejore. Es una práctica totalmente normal si el modelo más fuerte se lanzó con una licencia que permite tal uso. Pero los términos de uso de Openai de ChatGPT prohíben explícitamente el uso de su modelo para fines como la destilación del modelo.

¿Es posible que Deepseek haya utilizado otros modelos de código abierto, como Meta Platforms ‘Llama o Qwen de Alibaba, para la destilación del conocimiento, en lugar de confiar en los modelos propietarios de OpenAi?

Es difícil de decir. Incluso en la misma familia de modelos, digamos Llama o Qwen, no todos los modelos se lanzan con la misma licencia. Si la licencia de un modelo permite la destilación del modelo, entonces no hay nada ilegal o poco ético al hacerlo. En el Papel r1se menciona que el proceso realmente funcionó en la dirección opuesta: el conocimiento se destiló de R1 a Llama y Qwen para mejorar las capacidades de razonamiento de los últimos modelos.

¿Qué evidencia podría proporcionar una compañía de IA para demostrar que sus modelos se desarrollaron de forma independiente, sin depender de la tecnología patentada de otra organización?

Dado que existe la presunción de inocencia en asuntos legales, la carga de la prueba estará en OpenAI para demostrar que Deepseek violó sus términos de servicio. Dado que solo el modelo final desarrollado por Deepseek es público y no sus datos de capacitación, podría ser difícil probar la acusación. Dado que Openai aún no ha hecho pública su evidencia, es difícil decir cuán fuerte es el caso que tienen.

¿Existen estándares de la industria o medidas de transparencia que las compañías de IA podrían adoptar para generar confianza y demostrar el cumplimiento del desarrollo ético de la IA?

Actualmente hay pequeños estándares universalmente aceptados sobre el desarrollo de modelos de IA por parte de las empresas. Los proponentes de modelos abiertos dicen que la apertura conduce a una mayor transparencia. Pero abrir los pesos del modelo no es lo mismo que hacer que todo el proceso se abriera desde la recopilación de datos hasta la capacitación. También hay preocupaciones sobre si el uso de materiales con derechos de autor, como libros para capacitar a los modelos de IA, es de uso justo o no. Un ejemplo destacado es la demanda presentada por el New York Times contra OpenAI, que destaca los debates legales y éticos que rodean este tema.

Hay preguntas sobre los sesgos sociales en los datos de capacitación que afectan la producción del modelo. También hay preocupaciones sobre el aumento de los requisitos de energía y su implicación para el cambio climático. La mayoría de estos temas se debaten activamente con poco consenso.

Algunos funcionarios estadounidenses han expresado su preocupación de que Deepseek podría presentar riesgos de seguridad nacional. ¿Cuál es tu opinión sobre esto?

Sería profundamente preocupante si los datos de los ciudadanos estadounidenses se almacenan en los servidores de Deepseek y el gobierno chino tiene acceso a ellas. Sin embargo, los pesos del modelo están abiertos y, por lo tanto, se puede ejecutar en servidores propiedad de compañías estadounidenses. De hecho, Microsoft ya ha comenzado a alojar los modelos de Deepseek.