Autor(es): Kaushik Roy, Manas Gaur, Misagh Soltani, Vipula Rawte, Ashwin Kalyan, Amit Sheth
Año: 2023
Referencia bibliográfica:
Roy, K., Gaur, M., Soltani, M., Rawte, V., Kalyan, A., & Sheth, A. (2023). ProKnow: Process knowledge for safety-constrained and explainable question generation for mental health diagnostic assistance. Frontiers in Big Data, 5, 1056728. https://doi.org/10.3389/fdata.2022.1056728
Categoría asignada: Información veraz
Resumen:
El artículo ProKnow: Process Knowledge for Safety-Constrained and Explainable Question Generation for Mental Health Diagnostic Assistance explora la implementación de un algoritmo llamado ProKnow para generar preguntas de diagnóstico en el ámbito de la salud mental, con un enfoque en la seguridad, la captura de conocimiento médico y la explicabilidad. Este desarrollo surge ante la necesidad de garantizar que los asistentes virtuales de salud mental (VMHAs) puedan ofrecer preguntas de seguimiento clínicamente relevantes y seguras, mejorando su capacidad para asistir en el diagnóstico de trastornos como la depresión y la ansiedad.
El problema que aborda este trabajo es que muchos modelos actuales de generación de lenguaje natural (NLG), como GPT-3, aunque eficaces en otras áreas, no siguen las directrices clínicas estrictas, lo que puede llevar a la generación de preguntas inseguras o inadecuadas en un contexto médico. Por ejemplo, se menciona que el uso de GPT-3 en el contexto de la atención preventiva de salud mental generó respuestas peligrosas cuando se le preguntó acerca del suicidio, lo que evidencia la falta de controles de seguridad en la IA general. Esto subraya la importancia de ProKnow, cuyo objetivo es mitigar estos riesgos mediante la integración de un “lexicón de seguridad” que oriente el proceso de generación de preguntas.
El sistema ProKnow-algo, desarrollado por los autores, es capaz de generar preguntas que respetan los protocolos clínicos y que se alinean con el flujo conceptual de los cuestionarios de diagnóstico establecidos, como el PHQ-9 para la depresión y el GAD-7 para la ansiedad. Estos cuestionarios son comúnmente utilizados por profesionales de la salud para evaluar la gravedad de los trastornos mentales, y el sistema ProKnow adapta su generación de preguntas basándose en este conocimiento clínico. Esto garantiza que las preguntas sean seguras y pertinentes, reduciendo así la posibilidad de que los asistentes virtuales generen respuestas inadecuadas o peligrosas.
El sistema fue evaluado a través de varios modelos, incluido el modelo de lenguaje T5 ajustado y un modelo de generación de preguntas basado en redes neuronales recurrentes (LSTM). Los resultados mostraron que el algoritmo ProKnow generaba preguntas un 89 % más seguras que los modelos tradicionales sin este enfoque. Además, las preguntas generadas por ProKnow capturaban el contexto médico en un 96 % de los casos, lo que mejoraba significativamente la relevancia clínica de las interacciones. Otro aspecto destacado fue la capacidad de ProKnow para generar preguntas explicables, es decir, preguntas que los profesionales de la salud pueden rastrear hasta sus conceptos clínicos originales, aumentando así la transparencia del sistema.
Un elemento clave del trabajo es el enfoque en la seguridad. ProKnow utiliza un conjunto de métricas de evaluación diseñadas con la participación de profesionales clínicos para medir propiedades como la seguridad de las preguntas generadas, su coherencia lógica y la captura de conocimiento médico. Estas métricas permiten que el sistema ajuste sus preguntas en tiempo real, asegurando que se mantengan dentro de los límites de lo que es clínicamente seguro y relevante.
Entre los desafíos que se identifican en la implementación del sistema, se encuentran los altos costos computacionales para generar preguntas que sigan un flujo conceptual clínico y la falta de validación en otros contextos de salud mental más allá de la depresión y la ansiedad, como la esquizofrenia o el manejo del riesgo suicida. Sin embargo, los autores sugieren que el marco ProKnow tiene un amplio potencial para ser adaptado a otras áreas de la salud mental, mejorando la fiabilidad y la seguridad de los sistemas de IA utilizados en estos contextos.
En conclusión, ProKnow representa un avance importante hacia la creación de asistentes virtuales de salud mental más seguros y explicables, que puedan integrarse en sistemas clínicos reales sin comprometer la seguridad de los pacientes. Su enfoque en la captura de conocimiento médico y la explicabilidad lo convierte en una herramienta prometedora para mejorar la interacción humano-IA en el diagnóstico de trastornos mentales. Sin embargo, los autores recomiendan más estudios para ampliar el alcance del sistema y validar su efectividad en otros dominios clínicos.
