¿La IA ayudará a los médicos a decidir si vives o mueres?

«Los médicos también pueden perder sus habilidades, ya que la excesiva dependencia de los resultados de la IA disminuye el pensamiento crítico», dijo Shegewi. “Las implementaciones a gran escala probablemente plantearán problemas relacionados con la privacidad de los datos de los pacientes y el cumplimiento normativo. El riesgo de sesgo, inherente a cualquier modelo de IA, también es enorme y podría perjudicar a las poblaciones subrepresentadas”.

Además, el uso cada vez mayor de la IA por parte de las compañías de seguros sanitarios no suele traducirse en lo mejor para el paciente. Los médicos que enfrentan una avalancha de denegaciones de atención al paciente generadas por IA por parte de las compañías de seguros están contraatacando y están utilizando la misma tecnología para automatizar sus apelaciones.

«Una de las razones por las que la IA superó a los humanos es que es muy buena para pensar por qué podría estar mal», dijo Rodman. “Entonces, es bueno en lo que no encaja con la hipótesis, que es una habilidad en la que los humanos no son muy buenos. No somos buenos para estar en desacuerdo con nosotros mismos. Tenemos sesgos cognitivos”.

Por supuesto, la IA tiene sus propios prejuicios, señaló Rodman. La mayor proporción de prejuicios raciales y sexuales ha sido bien documentada en los LLM, pero probablemente sea menos propensa a los prejuicios que las personas, dijo.

Aun así, el sesgo en la IA clásica ha sido un problema de larga data y la genAI tiene el potencial de exacerbar el problema, según Gartner’s Walk. «Creo que uno de los mayores riesgos es que la tecnología esté superando la capacidad de la industria para capacitar y preparar a los médicos para detectar, responder e informar estos sesgos», dijo.

Los modelos GenAI son inherentemente propensos a sesgos debido a su entrenamiento en conjuntos de datos que pueden representar de manera desproporcionada ciertas poblaciones o escenarios. Por ejemplo, los modelos entrenados principalmente con datos de grupos demográficos dominantes podrían funcionar mal para grupos subrepresentados, dijo Mutaz Shegewi, director senior de investigación del grupo de Estrategias Digitales para Proveedores de Atención Médica Mundial de IDC.

«El diseño de las indicaciones puede amplificar aún más el sesgo, ya que las indicaciones mal diseñadas pueden reforzar las disparidades», dijo. «Además, el enfoque de genAI en patrones comunes corre el riesgo de pasar por alto casos raros pero importantes».

Por ejemplo, la literatura de investigación que ingieren los LLM a menudo está sesgada hacia los hombres blancos, lo que crea lagunas de datos críticas con respecto a otras poblaciones, dijo Mutaz. “Debido a esto, es posible que los modelos de IA no reconozcan presentaciones atípicas de enfermedades en diferentes grupos. Los síntomas de ciertas enfermedades, por ejemplo, pueden tener marcadas diferencias entre los grupos, y no reconocer esas diferencias podría llevar a un tratamiento retrasado o equivocado”, dijo.

Con las estructuras regulatorias actuales, los LLM y sus interfaces genAI no pueden aceptar responsabilidad como lo hace un médico humano. Por lo tanto, para “fines oficiales”, es probable que todavía se necesite un ser humano al tanto de la responsabilidad, el juicio, los matices y los muchos otros niveles de evaluación y apoyo que los pacientes necesitan.

Chen dijo que no le sorprendería que los médicos ya estuvieran utilizando los LLM para fines de bajo riesgo, como explicar cuadros médicos o generar opciones de tratamiento para síntomas menos graves.

«Para bien o para mal, listos o no, la caja de Pandora ya se ha abierto, y necesitamos descubrir cómo utilizar eficazmente estas herramientas y asesorar a los pacientes y médicos sobre formas apropiadas, seguras y confiables de hacerlo», dijo Chen.