El rendimiento de los modelos de lenguaje de inteligencia artificial en la evaluación de conocimientos dentales estilo tablero

Métodos

Obtuvimos nuestro conjunto de datos de preguntas de práctica para el INBDE combinando 3 conjuntos de datos comúnmente utilizados por los estudiantes de odontología en línea. En el conjunto de datos solo se incluyeron preguntas de opción múltiple basadas en texto. Se excluyeron las preguntas de opción múltiple basadas en imágenes, ya que ChatGPT solo admite entrada de texto. En total, el conjunto de datos contenía 143 preguntas, 64 de las cuales incluían cajas de acompañamiento para los pacientes. En la Figura A se muestra un ejemplo de un cuadro de paciente. Primero, se incluyeron 31 preguntas de la prueba gratuita de 42 preguntas.

Resultados

ChatGPT3.5 funcionó de manera similar entre los 3 conjuntos de datos que se combinaron en el estudio, al igual que ChatGPT4 (PAG > .05 para todas las combinaciones de conjuntos de datos) (Tabla 1). De las 143 preguntas de opción múltiple basadas en texto, ChatGPT3.5 respondió correctamente 87,3 preguntas (61,3%) en promedio (Tabla 2). ChatGPT4 respondió correctamente en promedio 110 de las 143 preguntas de opción múltiple (76,9%), lo que muestra un aumento significativo en el rendimiento con respecto a ChatGPT3.5 (diferencia, 15,6%; IC del 95%, 4,9% a 25,8%; χ21 = 8,14; PAG = .004).

Discusión

En nuestro estudio, el 61,3% de las preguntas de muestra utilizadas para preparar a los estudiantes de odontología para el INBDE fueron respondidas correctamente en promedio por ChatGPT3.5 y el 76,9% de las preguntas de muestra por ChatGPT4. A medida que el uso de ChatGPT continúa prevaleciendo entre los estudiantes de todo el mundo, es importante reconocer también sus limitaciones. Aunque ChatGPT4 mostró una mayor capacidad para acceder y generar contenido preciso relacionado con la odontología que ChatGPT3.5, no es gratuito y, por lo tanto, puede ser menos accesible para los usuarios.

Conclusión

ChatGPT tiene la capacidad de acceder y generar contenido preciso relacionado con la odontología. Aun así, es importante que los estudiantes de odontología utilicen el chatbot de forma responsable. Nuestros hallazgos deberían alentar a los estudiantes de odontología a incorporar el chatbot para complementar su programa de aprendizaje existente, pero no a utilizarlo como su principal recurso de aprendizaje. Las investigaciones futuras deberían continuar evaluando la competencia de los modelos emergentes de ChatGPT en el campo de la odontología para evaluar su papel en evolución en la educación dental.

El Sr. Arman Danesh es estudiante de la Facultad de Medicina y Odontología Schulich de la Western University, Londres, ON, Canadá.

Traducido automáticamenteTruncado a 10000 caracteres
Publicación Original

0 Comments

Submit a Comment

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *