Exámenes de certificación de especialidades médicas estudiados según los Criterios de Calidad de Ottawa: una revisión sistemática

Jun 13, 2024

BMC Medical Education volumen 23, número de artículo: 619 (2023) Citar este artículo

1 altmétrica

Detalles de métricas

Los exámenes de certificación de especialidades médicas son evaluaciones sumativas de alto riesgo que se utilizan para determinar qué médicos tienen las habilidades, conocimientos y actitudes necesarios para tratar a los pacientes de forma independiente. Estos exámenes son cruciales para la seguridad del paciente, la progresión profesional de los candidatos y la rendición de cuentas ante el público, pero varían significativamente entre especialidades médicas y países. Por lo tanto, es de suma importancia que la calidad de los exámenes de certificación de especialidades se estudie en la literatura científica.

En esta revisión sistemática de la literatura utilizamos el marco PICOS y buscamos artículos sobre exámenes de certificación de especialidades médicas publicados en inglés entre 2000 y 2020 en siete bases de datos utilizando un conjunto diverso de variaciones de términos de búsqueda. Dos investigadores examinaron los artículos de forma independiente y los calificaron según su calidad metodológica y relevancia para esta revisión. Finalmente, se categorizaron por país, especialidad médica y los siguientes siete Criterios de Ottawa de buena evaluación: validez, confiabilidad, equivalencia, viabilidad, aceptabilidad, efecto catalítico y educativo.

Después de eliminar los duplicados, se examinaron 2852 artículos para su inclusión, de los cuales 66 cumplían todos los criterios pertinentes. Se estudiaron más de 43 exámenes diferentes y más de 28 especialidades diferentes de 18 jurisdicciones. Alrededor del 77% de todos los artículos elegibles se basaron en países de habla inglesa, y el 55% de las publicaciones se centraron únicamente en el Reino Unido y Estados Unidos. La práctica general fue la especialidad más estudiada entre los exámenes de certificación, y el examen de práctica general del Reino Unido fue analizado de manera particularmente amplia. Los artículos recibieron una media de 4,2/6 puntos en la puntuación de calidad. Los estudios elegibles analizaron en promedio 2,1/7 criterios de Ottawa, siendo los criterios más frecuentemente estudiados la confiabilidad, la validez y la aceptabilidad.

La presente revisión sistemática muestra un número creciente de estudios que analizan los exámenes de certificación de especialidades médicas a lo largo del tiempo, abarcando una gama más amplia de especialidades médicas, países y criterios de Ottawa. Debido a su dependencia de múltiples métodos de evaluación y puntos de datos, los aspectos de la evaluación programática sugieren un camino prometedor a seguir en el desarrollo de exámenes de certificación de especialidades médicas que cumplan con los siete Criterios de Ottawa. Se necesitan más investigaciones para confirmar estos resultados, en particular análisis de exámenes realizados fuera de la anglosfera, así como estudios que analicen exámenes de certificación completos o comparen múltiples métodos de examen.

Informes de revisión por pares

Los pacientes dependen de los médicos para recibir atención médica segura y eficaz, pero los eventos adversos prevenibles siguen siendo frecuentes [1]. ¿Cómo se pueden evitar tales eventos? Una respuesta está en las evaluaciones profesionales. Antes de que se les permita ejercer la medicina de forma independiente, por ejemplo, en su propia práctica privada, los médicos deben aprobar un examen de posgrado cuyo objetivo es evaluar las habilidades, conocimientos y actitudes relevantes para la especialidad médica elegida. Estos exámenes de certificación de especialidades médicas se han utilizado durante mucho tiempo en muchos países, pero difieren mucho en su implementación. Históricamente, un simple examen oral realizado por un colega de alto nivel a menudo ha sido suficiente [2], pero la evidencia reciente respalda la efectividad de la “triangulación”, un enfoque más multifacético que incluye métodos de evaluación como preguntas de opción múltiple (MCQ) y exámenes clínicos objetivos estructurados (OECE). ) [3].

La terminología de los exámenes de especialidad difiere sustancialmente según el país, incluso en la literatura revisada por pares publicada para una audiencia mundial [4]. Se utilizan comúnmente “evaluación médica especializada”, “examen de la junta”, “proceso de certificación de posgrado”, “examen de certificado de especialidad” y las siglas resultantes. Las instituciones responsables de organizar los exámenes varían según el país y la especialidad médica, al igual que las habilidades, los conocimientos y el tiempo de formación necesarios, así como los privilegios otorgados al candidato seleccionado [2].

En este artículo, definimos un “examen de certificación de especialidad” médica como una evaluación sumativa de alto riesgo de un candidato que se lleva a cabo después de completar una formación de posgrado, como la residencia, que es esencial para la progresión profesional y, una vez finalizada con éxito, normalmente permite al candidato tratar a los pacientes como un médico especialista independiente. En EE.UU., el 87% de los médicos optan por obtener la certificación a pesar de que la certificación es voluntaria [5]. Ejemplos de exámenes de certificación de especialidad incluyen los “exámenes de membresía del Royal College” británico, la “Certificación de la Junta” estadounidense y el “Facharztprüfungen” suizo.

Los exámenes de certificación de especialidad son cruciales para la seguridad del paciente. La finalización exitosa debe garantizar el nivel mínimo de competencias necesarias para diagnosticar y tratar a los pacientes sin un colega experimentado disponible y formalmente responsable de garantizar la calidad del tratamiento del médico junior. Investigaciones anteriores muestran que los médicos certificados generalmente brindan mejor atención médica que los no certificados [6,7,8,9]. Una revisión sistemática realizada por Lipner et al. muestra que el estado de certificación se correlaciona con diversas medidas clínicas, como las tasas de complicaciones del desfibrilador o la mortalidad por infarto agudo de miocardio. En la mayoría de los 29 estudios, los médicos certificados brindaron una mejor atención al paciente [10]. Para dar sólo un ejemplo, un estudio de Reid et al. muestra que los médicos certificados obtienen un rendimiento 3,3 puntos porcentuales más alto en un compuesto de desempeño de calidad que los médicos no certificados en 23 especialidades [9]. Sin embargo, los errores médicos siguen siendo comunes en general [11] y los casos de mala conducta profesional se discuten periódicamente en los medios de comunicación [12]. En un estudio retrospectivo, los pacientes recibieron sólo el 54,9% de la atención básica recomendada [13]. Sólo en los hospitales estadounidenses, se estima que los errores médicos causan más de 400.000 muertes prematuras al año [14], lo que los convierte en la tercera causa de muerte [15]. Como examen final de la educación formal requerida legalmente en muchos países, los exámenes de certificación de especialidad brindan la última oportunidad para identificar a los médicos que (todavía) no califican para la práctica no supervisada. Por lo tanto, desempeñan un papel crucial a la hora de garantizar públicamente la competencia de los médicos en ejercicio.

En este estudio, utilizamos los "Criterios para una buena evaluación: declaración de consenso y recomendaciones" de la Conferencia de Ottawa de 2010 ("Criterios de calidad de Ottawa") para evaluar diferentes exámenes de especialidades médicas. Esta declaración de consenso fue desarrollada por un grupo de trabajo de expertos en evaluación médica de varios países, incluidos Norcini et al. [16] y revisado en 2018 [17]. Recomiendan los siguientes siete criterios (Tabla 1):

Dada la importancia de los exámenes de certificación de especialidades, existe una sorprendente falta de evidencia sobre su eficacia [18]. La literatura actual a menudo se centra en exámenes de subespecialidades específicas en países individuales. Hasta donde sabemos, la última revisión sistemática fue publicada en 2002 por Hutchinson et al. Los autores buscaron en diferentes bases de datos estudios publicados entre 1985 y 2000, inicialmente encontraron 7705 y excluyeron todos menos 55 de su análisis. Hutchinson et al. Luego resumió cada artículo con respecto a cualquier forma de validez y confiabilidad analizada en él. Destacan la escasez de datos publicados y consideran "sorprendente" la subrepresentación de las especialidades hospitalarias en particular. Piden un análisis repetido en el futuro y una mayor apertura “por parte de muchas de las instituciones que tienen un papel poderoso y sin oposición en las carreras de los médicos en formación” [19].

El interés por el tema de la educación médica eficaz ha aumentado considerablemente desde entonces, aunque sigue habiendo un vacío en la literatura sobre muchas especialidades y países. Las especialidades hospitalarias están subrepresentadas, mientras que predomina la práctica general o familiar (que cubre 41 de los 55 artículos identificados por Hutchinson et al.). Hutchinson et al. encontró estudios de sólo seis países, de los cuales cinco estaban ubicados en la anglosfera [19]. Dado su uso generalizado a nivel mundial, la calidad de la mayoría de los exámenes de especialidades médicas aún no se había estudiado científicamente de acuerdo con cualquiera de los dos primeros criterios de Ottawa (validez y confiabilidad). Para ampliar esta investigación y abordar esta brecha en la literatura, esta revisión sistemática se centra en recopilar prácticas actualizadas que han sido analizadas de acuerdo con cualquiera de los Criterios de Ottawa de tantos países y especialidades diferentes como sea posible.

En esta revisión sistemática de la literatura, nuestro objetivo es brindar una descripción general de la evidencia actual sobre los exámenes de certificación de especialidad estudiados de acuerdo con cualquiera de los Criterios de Buena Evaluación de Ottawa a nivel mundial. Mostramos qué especialidades médicas, países y formatos de examen se han analizado respecto a cuál de los Criterios de Ottawa. Esto proporciona un punto de referencia para futuros investigadores o sociedades de especialidades médicas que deseen estudiar o desarrollar aún más sus exámenes.

Las siguientes preguntas de investigación guían esta revisión sistemática:

¿Qué exámenes de certificación de especialidades médicas se han estudiado científicamente con respecto a los Criterios de Calidad de Ottawa?

¿Qué criterios de Ottawa se analizaron en estos exámenes?

¿Qué examen de certificación de especialidad se ha estudiado más exhaustivamente con respecto a los Criterios de Ottawa?

Los estudios se compilaron utilizando las siguientes siete bases de datos: MEDLINE(R) ALL, EMBASE, APA PsycINFO y ERIC vía Ovid, SCOPUS, la Cochrane Trial Library y Web of Science.

Para reflejar la práctica contemporánea y continuar con el marco temporal utilizado en el estudio de Hutchinson et al., se realizó una búsqueda de la literatura publicada entre enero de 2000 y agosto de 2020. Se utilizó el marco de diseño de Población, Intervención, Comparación, Resultados y Estudios (PICOS) para establecer la estrategia de búsqueda (ver Tabla 2).

Debido a la nomenclatura variable de los “exámenes de certificación de especialidades”, ampliamos nuestros términos de búsqueda para cubrir más de 20 variaciones e incluimos los títulos de temas médicos “Juntas de especialidades” y “Medición educativa”. Además, los artículos deben hacer referencia al concepto de medicina (por ejemplo, “médico*”) y a una forma de criterio de evaluación (por ejemplo, “válido*”). Más allá de esto, solo incluimos artículos escritos en inglés y publicados entre 2000 y 2020. Los términos de búsqueda descritos en el archivo adicional 1 se utilizaron y adaptaron a las siete bases de datos individuales (ver archivo adicional 1).

El título, el resumen y la información de citas de todos los resultados se recuperaron de Ovid.com, Scopus.com, Webofknowledge.com y Cochranelibrary.com utilizando el formato ris y Excel o csv. Se importaron a EndNote X9 y se fusionaron manualmente en un archivo de Excel. La siguiente información se puso a disposición de dos investigadores (DS y NW) por separado para una ronda inicial de selección: título, autores, año de publicación y resumen. En esta primera ronda de selección se incluyeron todos los estudios potencialmente valiosos, incluso si uno o ambos investigadores cuestionaban el cumplimiento de ciertos criterios. Por ejemplo, en lugar de exámenes de los médicos, muchos estudios analizan los exámenes realizados por los médicos. Otros no se centran en exámenes de especialidades médicas sino en exámenes de estudiantes de medicina, recertificación, mantenimiento de la certificación o evaluaciones formativas en el lugar de trabajo. De manera similar, se excluyeron los artículos que describían evaluaciones de otras profesiones (por ejemplo, asistentes médicos, enfermeras y farmacéuticos). En esta ronda también se excluyeron los manuscritos que no se publicaron como estudios científicos completos (por ejemplo, artículos de congresos, cartas, editoriales, reseñas), al igual que los artículos que no estaban disponibles en inglés. En la segunda ronda, DS y NW evaluaron individualmente los artículos de texto completo para determinar si los artículos preseleccionados se ajustaban a las preguntas de investigación. En este caso, era más probable que los artículos fueran excluidos debido a la falta de aclaración sobre qué método o métodos de examen se analizaron, porque evalúan exámenes que se administran casi inmediatamente después de que los candidatos abandonan la universidad o no permiten que los candidatos traten a los pacientes de forma independiente una vez finalizados con éxito. Los casos en los que revisores independientes llegaron a conclusiones diferentes se discutieron bilateralmente. Si no se llegó a un acuerdo, se consultó a un tercer revisor (AL) para emitir un dictamen final.

Todos los resultados e interpretaciones relacionados con los Criterios de Calidad de Ottawa se extrajeron de los artículos incluidos y se clasificaron según los siete criterios. Inicialmente, DS y NW realizaron este paso en colaboración para garantizar que pudieran alcanzar resultados consistentes; luego, las extracciones se realizaron de forma independiente. Los artículos en los que los datos o la categorización relevantes eran complejos o poco claros se discutieron hasta que DS, NW y AL llegaron a un acuerdo (ver archivo adicional 2).

Para un análisis más detallado, se obtuvo información sobre el país o países estudiados, la especialidad o especialidades médicas, el método de examen o la combinación de métodos, así como otros detalles relevantes sobre el examen, del texto completo de todos los artículos incluidos. Cuando los artículos carecían de tales detalles, se complementaron, cuando fue posible, mediante búsquedas en línea. Los detalles publicados, por ejemplo, por la sociedad médica en cuestión, se agregaron a la descripción general final y la fuente de esta información adicional se incluyó como referencia. Los artículos también se resumieron brevemente para comodidad del lector.

La calidad metodológica y la relevancia de las preguntas de investigación de esta revisión se evaluaron para cada estudio utilizando los criterios de evaluación adaptados del Instrumento de Calidad de Estudios de Investigación en Educación Médica (MERSQI) y los "Criterios para la evaluación cualitativa de publicaciones científicas" [20, 21]. La evaluación consta de los siguientes seis criterios: (1) ¿Es el diseño del estudio adecuado para responder a la pregunta estudiada? (2) ¿Se describe el método de manera que sea posible la replicación sin más información? (3) ¿Es coherente la interpretación? (4) ¿El estudio analiza al menos 50 candidatos al examen? (5) ¿Analiza más de un examen? (6) ¿Analiza el examen completo? Los artículos recibieron un punto en caso afirmativo, cero en caso negativo o poco claros.

Por último, los datos extraídos se utilizaron para buscar el examen o exámenes de certificación de especialidad que se estudiaron más ampliamente con respecto a los Criterios de Ottawa, contando el número de Criterios de Ottawa separados investigados, así como el número de estudios individuales en los casos en que se publicaron varios artículos que analizan el mismo examen.

El proceso de inclusión y exclusión se visualiza según el diagrama de flujo PRISMA (ver Fig. 1). De 4420 visitas, se incluyeron 66 estudios para el análisis de datos.

Diagrama de flujo PRISMA

En los 66 trabajos se evalúan más de 43 exámenes diferentes y más de 28 especialidades de 18 jurisdicciones.

Todos los estudios incluidos están ordenados por especialidad médica y país en la Tabla 3. Los Criterios de Ottawa analizados en ella están marcados (+), los no analizados (0). La columna de la derecha muestra cuántos de los seis estudios de métricas cumplieron con la herramienta de evaluación de calidad. Se enumeran los formatos de examen utilizados, con el enfoque de los estudios marcado en negrita. En la hoja de cálculo adicional de Excel se puede encontrar una descripción completa que incluye breves resúmenes de todos los estudios y los hallazgos relevantes (consulte el archivo adicional 2).

Una gran mayoría de nuestros resultados de búsqueda examinan los exámenes de certificación de especialidad utilizados en países de habla inglesa, y el 77 % de los trabajos se centran en el Reino Unido, EE. UU., Australia, Irlanda, Canadá o Sudáfrica. Con diferencia, los dos países estudiados con mayor frecuencia son el Reino Unido y los Estados Unidos, que juntos representan el 55% de los artículos elegibles (20 publicaciones cada uno, ver Fig. 2). Otros lugares estudiados incluyen Israel, China, Hong Kong, Argentina, Egipto, Irán, Japón, México, Filipinas, Portugal y Tailandia. Una minoría de exámenes no son específicos de un solo país: tres artículos analizan exámenes europeos, dos de Australia y Nueva Zelanda, uno de EE. UU. y Canadá, y uno del Reino Unido e Irlanda. Un solo estudio compara los exámenes en varios países [88].

Número de estudios por ubicación

Los exámenes de certificación utilizados en la especialidad de Medicina General son los más estudiados, con 11 estudios centrados en este dominio. Se estudian varios tipos de especialidades quirúrgicas en 12 publicaciones diferentes. La Medicina Interna se analiza en seis estudios diferentes. Otros seis estudios evalúan los exámenes utilizados en Radiología. Anestesiología y Medicina Familiar son las especialidades médicas consideradas en cuatro estudios cada una. Medicina de Emergencia, Oftalmología y Pediatría se analizan cada una en dos estudios. Se ha publicado un estudio sobre cada uno de los siguientes exámenes de certificación de especialidades médicas: Cardiología, Oncología Clínica, Medicina Endovascular, Ginecología, Medicina Paliativa, Medicina Física y Rehabilitación, Psiquiatría, Reumatología, Medicina Rural y Remota y Urología (ver Fig. 3). . Cinco estudios evalúan múltiples especialidades médicas. Tres estudios no logran especificar qué examen de especialidad está bajo análisis.

Número de estudios por especialidad médica

Los artículos elegibles reciben un promedio de 4,15 de los seis puntos posibles por relevancia y calidad metodológica. El 94% (62/66, ver Fig. 4) de los estudios reciben un punto por el criterio 1 (“¿El ​​diseño del estudio es adecuado para responder a la pregunta estudiada?”), el 89% (59/66) por el criterio 2 (“¿Es el ¿método descrito de manera que la replicación sea posible sin más información?”), y 95% (63/66) para el criterio 3 (“¿Es coherente la interpretación?”). El número de candidatos analizados es al menos 50 en el 73% (48/66) de los estudios (criterio 4). El 36% (24/66) de los estudios comparan múltiples exámenes (criterio 5). Finalmente, el 28% (18/66) de los estudios incluidos analizan el examen completo (criterio 6). Muchos se centran sólo en un subconjunto del examen de certificación de especialidad, aunque algunos estudios también reciben cero puntos en esta métrica, ya que no está claro en qué consiste todo el examen de certificación de especialidad que se está considerando.

Número de estudios que cumplen criterios de calidad metodológica y relevancia.

La nomenclatura varía ampliamente según las diferentes modalidades de examen. Los métodos más comunes utilizados incluyen preguntas de opción múltiple (MCQ), exámenes orales estructurados con discusiones de expertos y exámenes clínicos objetivos estructurados (OSCE). Las preguntas de ensayo, la evaluación de tesis o la experiencia clínica se evalúan con menos frecuencia en los estudios. Pocos exámenes de certificación de especialidades médicas utilizan únicamente un único método de examen. Por lo tanto, una gran mayoría de los estudios publicados se centran en exámenes que utilizan una combinación de diferentes modalidades, que comprenden al menos un método escrito y otro oral.

En promedio, los estudios examinan 2,1 de los 7 criterios de Ottawa. El criterio más estudiado es la validez (51/66 estudios), seguido de la confiabilidad (37/66) y la aceptabilidad (20/66). La viabilidad es un tema de análisis en 13 artículos. La equivalencia y el efecto catalítico son los que menos se investigan: cuatro estudios mencionan resultados pertenecientes a esas categorías cada uno (ver Fig. 5).

Número de estudios según el criterio de Ottawa

No se ha analizado ningún examen de certificación de especialidad médica con respecto a los siete Criterios de Ottawa. Incluso al cotejar evidencia de múltiples estudios, sólo 16 de 46 exámenes han sido analizados con respecto a tres o más. Se han analizado tres exámenes respecto a cinco y dos exámenes respecto a seis de los siete Criterios de Ottawa (ver Fig. 6).

Exámenes analizados por número de criterios de Ottawa

El examen de Membresía del Royal College of General Practitioners (MRCGP) es el examen de certificación de especialidad más estudiado con respecto a los Criterios de Ottawa, con 10 artículos diferentes publicados entre 2000 y 2020. Además del criterio de viabilidad, todos los Criterios de Ottawa están cubiertos por la literatura. .

El examen MRCGP tiene como objetivo evaluar la habilidad y el conocimiento de un médico que "ha completado satisfactoriamente la formación especializada en medicina general y es competente para ejercer la práctica independiente en el Reino Unido sin mayor supervisión" [89]. Aunque se siguen realizando cambios en el formato del examen, en casi todos los estudios incluidos se describe que consta de las siguientes cuatro partes: un examen escrito (llamado “ensayo escrito”) compuesto por respuestas de texto libre, una pregunta de opción múltiple examen, un examen oral y una sección de vídeo que examina las habilidades de consulta [37,38,39, 41, 42]. Los estudios de investigación individuales publicados sobre el MRCGP se presentan con más detalle a continuación.

Dixon [41] encuestó a los registradores sobre sus puntos de vista sobre los distintos módulos del MRCGP y sus efectos en el aprendizaje. Encontró que los candidatos percibieron los grupos de estudio de compañeros registradores como particularmente útiles para prepararse para los componentes escritos y orales, y los comentarios de los capacitadores como especialmente útiles para el componente de video sobre habilidades de consulta. Muchos dijeron que habían leído más artículos de revisión pero no artículos originales como preparación. La mayoría de los candidatos creían que la preparación para el módulo oral aumentaba su comprensión de los principios morales y éticos.

El “trabajo escrito” en el examen MRCGP tiene como objetivo evaluar las habilidades de resolución de problemas de los candidatos, el conocimiento de la literatura actual y las habilidades de evaluación crítica de la metodología de estudio. Como lo describen Sandars et al. [38], los candidatos reciben tres horas y media para leer tres extractos de literatura y escribir “notas” concisas respondiendo a 12 preguntas, generalmente sobre la metodología de los estudios y cómo se relaciona con un escenario determinado relevante para los médicos generales (GP). Munro et al. [36] muestran que estas “Respuestas de texto libre” calificadas por el examinador logran medidas de confiabilidad relativamente altas, con un alfa de Cronbach consistentemente entre 0,85 y 0,88. Dixon [39] pidió a los candidatos que calificaran su impresión sobre los formatos de las preguntas y descubrió que el formato de mejor respuesta única (SBA) fue calificado como el más fácil, y que las preguntas de finalización del algoritmo de tratamiento, emparejamiento extendido y finalización de resumen fueron las más difíciles. Las preguntas para completar el resumen también fueron criticadas por evaluar la capacidad lingüística. En general, la aceptabilidad del trabajo escrito fue alta entre los candidatos, aunque la mayoría cree que este módulo también contenía preguntas inapropiadas. El módulo escrito del examen MRCGP pareció particularmente útil para alentar a los candidatos a leer artículos de revistas con regularidad. Partridge [44] apoya este punto de vista y enfatiza además la importancia de las habilidades de evaluación crítica para el artículo escrito. Una gran mayoría de los candidatos estuvieron en general satisfechos con esta parte del examen y encontraron que las preguntas eran claras y relevantes para la práctica general.

El “Documento de opción múltiple” (MCP) utiliza una serie de formatos de preguntas que incluyen SBA, imágenes y preguntas de correspondencia extendidas para evaluar la amplitud y profundidad del conocimiento de los candidatos. Dixon et al. [45] pidieron a los formadores de médicos de cabecera que realizaran una versión abreviada del MCP y descubrieron que superaban significativamente a los registradores incluso sin ninguna preparación en las puntuaciones generales, así como en preguntas específicamente relacionadas con la práctica general y la administración de la práctica. Los formadores no lograron responder preguntas relacionadas con la metodología de la investigación o la evaluación crítica con mucha más frecuencia que los candidatos. En consecuencia, a pesar de que otros temas de preguntas se percibían como fáciles, la mayoría de los formadores calificaron la metodología de investigación y las preguntas de evaluación crítica como difíciles. Dixon et al. [43] también resumen las opiniones de los candidatos sobre esta parte del examen, encontrando que se percibió que tuvo éxito en su objetivo de ser una prueba justa del conocimiento de los candidatos y relevante para la práctica general. Estos candidatos consideraron que los temas de investigación y estadística eran los más difíciles. Sin embargo, no alcanzaron puntuaciones medias más bajas en estos campos. En respuesta a estos comentarios, se realizaron pequeños ajustes, como agregar una calculadora y permitir diez minutos adicionales.

El “Examen Oral” tiene como objetivo evaluar las habilidades de toma de decisiones y los valores profesionales de los candidatos mediante dos exámenes orales de 20 minutos con un par de examinadores y cinco temas cada uno. Los examinadores eligieron sus propias preguntas. Wass et al. [42] encuentran que los coeficientes de confiabilidad son inferiores a los requeridos (intercaso 0,65, aprobado/reprobado 0,85) y recomiendan aumentar el tiempo de prueba y el número de temas cubiertos, sugiriendo cinco exámenes orales con un examinador cada uno. Esto aumentaría la confiabilidad entre casos a 0,78 y la confiabilidad de pasa/falla a 0,92. Simpson y cols. [37] también analizó el examen oral, argumentando que “la evaluación de los valores profesionales se examinó en gran medida a nivel de conocimiento y comprensión, y pocos examinadores alentaron a los candidatos a justificar su punto de vista expresado o les permitieron demostrar cómo podrían usar estos valores”. para apoyar su toma de decisiones”.

Para la "Evaluación de habilidades de consultoría", se pide a los candidatos que envíen vídeos de ellos mismos interactuando con siete pacientes reales. Pueden elegir esas siete consultas que demuestren mejor los 15 criterios de desempeño y luego son calificados por siete médicos de cabecera independientes capacitados para esta evaluación. Siriwardena et al. [40] compararon este módulo con la escala de 'observación de la participación del paciente' (OPTION), una escala validada de forma independiente para la toma de decisiones compartida, y descubrieron que predice tanto el criterio de desempeño 'compartir opciones de manejo' como los resultados generales del MRCGP.

Esta revisión sistemática aborda una pregunta importante en la investigación actual sobre educación médica: ¿Cómo podemos evaluar y certificar de manera creíble la competencia de los médicos? Los exámenes de certificación de especialidad son cruciales para la seguridad del paciente, la progresión profesional de los candidatos y la responsabilidad ante el público, pero hasta ahora faltan pruebas de su calidad. Al buscar en siete bases de datos diferentes y utilizar una amplia variedad de posibles variaciones en los términos de búsqueda, recopilamos un resumen completo de la investigación sobre los Criterios de Calidad de Ottawa estudiados en los exámenes de certificación de especialidad publicados en los últimos veinte años. Se incluyeron 66 estudios. La confiabilidad, la validez y la aceptabilidad son los criterios más frecuentemente estudiados con respecto a los exámenes especializados en esta literatura. Como fue el caso en la revisión de la literatura anterior realizada por Hutchinson et al., el mayor conjunto de evidencia se centra en el Reino Unido y EE. UU., así como en la especialidad de medicina general [19]. Sin embargo, documentamos un gran aumento en el número de diferentes países, especialidades médicas y Criterios de Ottawa estudiados durante los últimos veinte años.

La nomenclatura exacta utilizada para describir los indicadores de calidad de los exámenes en la literatura y el énfasis relativo de los autores pueden variar, pero existe un acuerdo generalizado sobre qué cualidades deben cumplir los buenos exámenes. Especialmente la certificación de especialidad médica debe ser válida, confiable y objetiva. Cuando se repiten, deberían dar resultados similares y, por tanto, ser reproducibles, independientemente de factores como el sesgo del examinador [3]. Además, dichas evaluaciones deben ser factibles, seguir siendo lo más rentables posible y proporcionar una retroalimentación adecuada para el aprendizaje [90]. Todos estos aspectos se cubren a través de los siete criterios de buena evaluación de la Conferencia de Ottawa elegidos para esta revisión: validez, fiabilidad, equivalencia, viabilidad, aceptabilidad, efecto catalizador y educativo. Debido a la naturaleza sumativa de alto riesgo de los exámenes de certificación de especialidades, la atención se centra a menudo en garantizar la validez y la confiabilidad en lugar del efecto educativo o catalizador. Esta tendencia se refleja en el número de estudios encontrados analizando cada criterio.

Podemos ver cómo los Criterios de Ottawa a veces entran en conflicto entre sí. Por ejemplo, aunque la aceptabilidad entre los candidatos puede verse afectada si un programa de examen descuida la provisión de comentarios constructivos, la prioridad para una institución que organiza el examen puede residir en indicar de manera creíble al público, a las instituciones de atención médica y a los pacientes que un candidato aprobado está listo para la práctica independiente. . Con el criterio de viabilidad se puede estudiar cómo se pueden mejorar esas compensaciones entre los criterios de calidad con recursos limitados. Por lo tanto, la viabilidad, incluido el costo financiero asociado con los diferentes métodos de examen, es una preocupación importante en relación con los exámenes de certificación de especialidades de alta calidad organizados en contextos con recursos limitados. A pesar de su relevancia, observamos una relativa escasez de estudios sobre este criterio [24, 25, 55, 61, 66, 68, 71, 73, 74, 76, 77, 79, 84, 91].

Según el marco de Miller para evaluar las habilidades, la competencia y el desempeño clínicos, la evaluación clínica se puede conceptualizar en cuatro niveles progresivos: el alumno procede a través de "sabe", "sabe cómo" y "muestra cómo" "hace" [92]. Es el primero que es más fácil de evaluar de manera confiable en un examen escrito; sin embargo, se debe alcanzar el nivel más alto de competencia antes de que un candidato pueda obtener la certificación para la práctica independiente. A menos que puedan demostrar sus conocimientos, habilidades y actitudes, no podemos estar seguros de que éste sea el caso: “Ningún método de evaluación por sí solo puede proporcionar todos los datos necesarios para juzgar algo tan complejo como la prestación de servicios profesionales por parte de un médico exitoso. ” [92]. Todos los métodos de examen enfrentan limitaciones en al menos un Criterio de Calidad de Ottawa y no se puede esperar que cubran todos los niveles del marco de Miller [93]. Los exámenes de certificación de especialidades bien diseñados logran verificar también los niveles más altos de la pirámide de Miller y, por lo tanto, hacen que las condiciones del examen se ajusten más estrechamente a la realidad de trabajar como médico certificado [3, 92, 94].

La necesidad de combinar diferentes métodos de evaluación en los exámenes de certificación de especialidad fue destacada para los residentes de medicina interna de EE. UU. específicamente en un artículo de revisión no sistemática de 1998 realizado por Holmboe et al. [95]. Resume estudios publicados entre 1966 y 1998 y sostiene que, dado que el examen de certificación escrito de la Junta Estadounidense de Medicina Interna (ABIM) por sí solo es insuficiente para evaluar adecuadamente la competencia clínica, debería complementarse con otros métodos de examen en la clínica, como escalas de calificación de relaciones interpersonales. habilidades y actitudes, auditorías de historias clínicas, ejercicios de evaluación clínica (CEX) y exámenes estandarizados de pacientes. Un trabajo más reciente ha recomendado además ampliar la evaluación para incluir competencias como el trabajo en equipo y la atención a la población [96, 97]. Por lo tanto, es alentador que la mayoría de los exámenes de certificación de especialidades médicas analizados en esta revisión utilicen métodos de triangulación y, por ejemplo, complementen preguntas de opción múltiple (“sabe” y “sabe cómo”) con ECOE (“muestra cómo”) y evaluaciones basadas en el lugar de trabajo (“no hace”). ”) [22,23,24,25,26,27,28,29, 31, 35,36,37,38,39,40,41,42,43,44,45,46].

Los exámenes únicos realizados únicamente al final de un período educativo pueden llevar a los candidatos a ignorar la retroalimentación proporcionada [93]. Por lo tanto, un mayor desarrollo del proceso de certificación de especialidades médicas puede consistir en evaluaciones adicionales administradas longitudinalmente (por ejemplo, evaluaciones en el lugar de trabajo).

Este enfoque ha recibido un apoyo cada vez mayor en las llamadas evaluaciones programáticas de la educación médica basada en competencias (CBME). En este enfoque sistémico para el diseño de evaluaciones, las decisiones de aprobar o reprobar se basan en una cartera que contiene puntos de datos creados por múltiples evaluadores y evaluaciones [90, 98]. El momento del examen se desacopla del momento de una decisión de alto riesgo, como la promoción o la graduación [99]. El objetivo es que los candidatos obtengan información valiosa a partir de la retroalimentación crítica, el apoyo y la autorreflexión de un mentor sin que dichos programas se vuelvan demasiado burocráticos o consuman mucho tiempo [100, 101]. Una combinación de evaluaciones longitudinales repetidas en el lugar de trabajo y exámenes estructurados, como se resume en este artículo, parece más prometedora para respaldar este objetivo, además de proporcionar puntos de datos cruciales para la decisión de alto riesgo sobre la calificación para la práctica no supervisada.

Dado que la mayoría de los artículos analizados en esta revisión se centran exclusivamente en un aspecto del examen, a menudo no es posible evaluar de manera integral todo el examen de certificación de especialidad. Pocos estudios analizan múltiples formatos de examen y los comparan [24, 27, 35, 41, 54, 69, 86,87,88]. Por lo tanto, las fortalezas y debilidades identificadas con un solo método de evaluación pueden compensarse en otra parte del examen sin que este efecto se tenga en cuenta en la literatura.

Es posible que, debido al lapso de tiempo considerado, los formatos de los exámenes hayan cambiado desde que se realizaron los estudios incluidos, y es posible que ciertas críticas expresadas en un artículo ya se hayan incorporado a la práctica. Este es el caso del examen de Membresía del Royal College of General Practitioners (MRCGP UK), que se utilizó para ilustrar la literatura sobre un examen de certificación de especialidad médica particularmente bien investigado. En el momento del estudio, este consistía en un examen escrito compuesto por respuestas de texto libre, un examen de preguntas de opción múltiple, un examen oral y una sección de videos que examinaba las habilidades de consulta.

Desde entonces, el RCGP ha decidido cambiar los formatos para mejorar aún más el examen. Debido a posibles problemas relacionados con la validez y la confiabilidad (particularmente la confiabilidad entre evaluadores), el uso de exámenes orales se ha descontinuado en muchos países, incluido el Reino Unido, en favor de formatos de examen más claramente estructurados. El examen escrito se ha complementado con una Evaluación de Habilidades Clínicas (CSA) basada en la OSCE y una Evaluación basada en el lugar de trabajo (WPBA). En el CSA, los pacientes son interpretados por actores capacitados y calibrados, lo que permite la simulación de consultas de la vida real [102]. El objetivo de la WPBA es evaluar a los candidatos en su práctica diaria y proporcionar comentarios constructivos, así como evaluar específicamente aspectos del comportamiento profesional que son difíciles de medir utilizando únicamente el examen escrito y el CSA [103]. Se introdujeron más adaptaciones de forma temporal debido a la pandemia de Covid [104]. En la literatura existente no se ha mostrado exactamente cómo se compara la versión actual del examen MRCGP con el formato de examen anterior en varios criterios de evaluación.

Aunque la validez y confiabilidad comprobadas de los formatos de examen estilo OSCE han aumentado su atractivo para las instituciones de todo el mundo, una posible desventaja puede estar relacionada con su aceptabilidad. “A los examinadores generalmente no les gustan las evaluaciones estructuradas” debido a la falta de espontaneidad y flexibilidad para adaptar la evaluación a las habilidades del candidato [69]. Sin embargo, se puede decir que la combinación actual de formatos de examen permite una evaluación comparativamente integral de los candidatos: los exámenes escritos evalúan el conocimiento, pueden estar altamente estandarizados y son fácilmente factibles, los OSCE cumplen con los requisitos de estandarización al tiempo que permiten una evaluación del nivel de aprendizaje de la prueba que "muestra cómo" y los WPBA complementan estos métodos proporcionando datos de evaluación más realistas y personalizados.

Con términos de búsqueda que cubren una variedad de posibles sinónimos de exámenes de certificación de especialidades médicas, esta revisión proporciona la descripción general más extensa y actualizada hasta el momento, lo que permite obtener una imagen precisa de los exámenes de certificación de especialidades médicas actuales que han sido evaluados científicamente con respecto a cualquiera de los Criterios de Ottawa a nivel mundial. En conjunto, estos siete criterios cubren aspectos vitales de la calidad de la evaluación.

Sin embargo, encontramos que muchos exámenes aún no se han analizado científicamente de acuerdo con ninguno de los Criterios de calidad de Ottawa. Esto significa que algunos países y especialidades médicas no están incluidos en esta revisión. Consideramos que es común que los exámenes de certificación de especialidad o diferentes formatos de examen se estudien científicamente solo en unos pocos criterios seleccionados o solo en relación con una parte del examen. La literatura actual sobre los exámenes de certificación de especialidad no podría respaldar una clasificación de calidad general que conduzca a una recomendación clara sobre qué examen cumple mejor con los siete Criterios de Buena Evaluación de Ottawa.

Otra limitación de esta revisión es que no se incluye en esta revisión la literatura publicada en idiomas distintos del inglés o exclusivamente en bases de datos no incluidas en nuestra búsqueda. Esto pone en desventaja a los países donde el idioma principal no es el inglés y puede explicar parcialmente el predominio de la literatura sobre exámenes realizados en el Reino Unido, EE. UU. y otros países anglófonos en nuestros hallazgos.

Esta revisión sistemática de la literatura proporciona una descripción general de los exámenes de certificación de especialidades médicas, los respectivos métodos de examen utilizados y su evaluación con respecto a los Criterios de Ottawa. Por lo tanto, puede ayudar a quienes buscan mejorar los exámenes de certificación de especialidad actuales mostrando las fortalezas y debilidades de los exámenes existentes. Con base en los hallazgos de los artículos presentados en esta revisión sistemática, podemos aprovechar la investigación más relevante para nuestra especialidad médica y aprender de las fortalezas y debilidades resaltadas en los formatos de examen estudiados en otros países. Los organismos certificadores que buscan ampliar su conjunto actual de métodos de examen pueden encontrar métodos probados en la investigación presentada aquí. Al recopilar la investigación publicada, esta revisión también puede guiar a los lectores a decidir qué exámenes de certificación de especialidad aceptar en su jurisdicción. Finalmente, ofrece un índice de los investigadores líderes en esta área, sirviendo a aquellos que buscan colaborar más o estudiar un examen de certificación específico con respecto a los siete Criterios de Ottawa.

Investigaciones futuras deberían resumir qué tan bien los exámenes cumplen con todos los Criterios de Ottawa y compararlos en consecuencia. ¿Cuál es el mejor método de examen para utilizar en entornos con recursos limitados? ¿Qué especialidad médica consigue evaluar a sus candidatos de forma más fiable? Y, en general, con respecto a los siete criterios de Ottawa, ¿cuál es la mejor manera de organizar un examen de certificación médica? Este tipo de investigaciones parecen prometedoras ya que reflejan las lagunas bibliográficas destacadas en esta revisión. Existen numerosos estudios que comparan a los médicos certificados con los no certificados [105,106,107], sin embargo, los estudios que vinculan los formatos de examen con el desempeño posterior de los médicos certificados en comparación con los no certificados serían más útiles para decidir cuál es la mejor manera de estructurar un examen de certificación de especialidad. Por ejemplo, los experimentos naturales en los que los organismos certificadores actualizan sus prácticas o los estudios de cohortes siguiendo a médicos certificados utilizando diferentes métodos de examen podrían analizar diferentes resultados en la seguridad del paciente. Los informes de casos que destacan el uso de nuevos formatos de examen innovadores también pueden ofrecer mejoras potenciales a las técnicas establecidas. Investigaciones adicionales deberían llenar los vacíos resaltados en esta revisión con respecto a los exámenes, los países y los Criterios de Ottawa que aún no se han estudiado, para permitir una comparación holística entre los exámenes.

Investigaciones futuras deberían utilizar los siete Criterios de Ottawa para centrarse en los exámenes de certificación de especialidades médicas en más países que no hablan inglés y en una variedad más amplia de especialidades. Deberían hacer uso de fuentes adicionales, como literatura gris interna de las instituciones certificadoras y entrevistas a expertos, para arrojar luz sobre criterios menos estudiados, como la viabilidad. Establecer una nomenclatura común que cubra los requisitos previos, los métodos de evaluación y las consecuencias de los exámenes de certificación de especialidades médicas haría que las comparaciones futuras sean más sencillas. Aunque la calidad general de los estudios que encontramos fue buena, la mayoría de las investigaciones actuales analizaron sólo una fracción del examen completo y no compararon diferentes exámenes. Se deben seguir estos enfoques para permitir una evaluación más completa y orientar mejor las recomendaciones para la práctica futura.

En general, a pesar del creciente interés en las últimas décadas descrito anteriormente, sigue existiendo una necesidad urgente de más investigaciones disponibles públicamente para devolver la confianza que el público deposita en el proceso de certificación de los médicos.

En los últimos veinte años se ha observado un interés creciente en el tema de la seguridad del paciente y los exámenes eficaces de certificación de especialidades médicas. Esto se refleja en un número creciente de estudios que analizan exámenes de certificación de especialidades médicas que cubren una variedad más amplia de especialidades médicas, países y criterios de Ottawa. Los exámenes de certificación de especialidades médicas varían significativamente entre países y se adaptan constantemente a las circunstancias cambiantes a través de nuevos formatos de examen. Debido a sus implicaciones para la seguridad del paciente, el creciente escrutinio público sobre la autorregulación médica y su impacto en las oportunidades profesionales de los candidatos, es de suma importancia que estén respaldados por un gran conjunto de evidencia que demuestre el cumplimiento de los siete Criterios de buena evaluación de Ottawa. Debido a su dependencia de múltiples métodos de evaluación y puntos de datos, los aspectos de la evaluación programática sugieren un camino prometedor a seguir en el desarrollo de exámenes eficaces de certificación de especialidades médicas. Para confirmar y ampliar estos resultados, las investigaciones futuras deberían centrarse en exámenes realizados fuera de la anglosfera, análisis de exámenes de certificación completos y comparaciones entre métodos de examen.

El conjunto de datos que respalda las conclusiones de este artículo se incluye dentro del artículo (y sus archivos adicionales).

Junta Americana de Medicina Interna

Educación médica basada en competencias

Ejercicio de evaluación clínica

Evaluación de habilidades clínicas

Médico General

Prueba de opción múltiple

Pregunta de opción múltiple

Instrumento de calidad del estudio de investigación de educación médica

Examen de membresía del Royal College of General Practitioners

Escala 'Observación de la implicación del paciente'

Examen clínico objetivo estructurado

Población, Intervención, Comparación, Resultados y Estudio

Real Colegio de Médicos Generales

Mejor respuesta individual

Evaluación basada en el lugar de trabajo

de Vries EN, Ramrattan MA, Smorenburg SM, Gouma DJ, Boermeester MA. La incidencia y naturaleza de los eventos adversos hospitalarios: una revisión sistemática. Atención médica de calidad y seguridad. 2008;17(3):216–23.

Artículo de Google Scholar

Memon MA, Joughin GR, Memon B. Evaluación oral y exámenes médicos de posgrado: establecimiento de condiciones de validez, confiabilidad y equidad. Práctica teórica de la educación en ciencias de la salud avanzada. 2010;15(2):277–89.

Artículo de Google Scholar

Thiessen N, Fischer MR, Huwendiek S. Métodos de evaluación en evaluaciones de especialistas médicos en la región DACH: descripción general, examen crítico y recomendaciones para un mayor desarrollo. GMS J Med Educación. 2019;36(6):Doc78–Web.

Wijnen-Meijer M, Burdick W, Alofs L, Burgers C, Ten Cate O. Etapas y transiciones en la educación médica en todo el mundo: clarificación de estructuras y terminología. Enseñanza médica. 2013;35(4):301–7.

Artículo de Google Scholar

Cassel CK, Holmboe ES. Profesionalismo y responsabilidad: el papel de la certificación de juntas especializadas. Asociación Trans Am Clin Climatol. 2008;119:295–303 (discusión 303-304).

Google Académico

Sharp LK, Bashook PG, Lipsky MS, Horowitz SD, Miller SH. Certificación de la junta de especialidad y resultados clínicos: el eslabón perdido. Acad Med. 2002;77(6):534–42.

Artículo de Google Scholar

Chen J, Rathore SS, Wang Y, Radford MJ, Krumholz HM. Certificación de la junta médica y la atención y los resultados de los pacientes de edad avanzada con infarto agudo de miocardio. J Gen Intern Med. 2006;21(3):238–44.

Artículo de Google Scholar

Prystowsky JB, Bordage G, Feinglass JM. Resultados de los pacientes para la resección segmentaria de colon según la formación, certificación y experiencia del cirujano. Cirugía. 2002;132(4):663–70 (discusión 670-662).

Artículo de Google Scholar

Reid RO, Friedberg MW, Adams JL, McGlynn EA, Mehrotra A. Asociaciones entre las características del médico y la calidad de la atención. Médico Interno del Arco. 2010;170(16):1442–9.

Artículo de Google Scholar

Lipner RS, Hess BJ, Phillips RL Jr. Certificación de la junta de especialidad en los Estados Unidos: problemas y evidencia. J Contin Educ Health Prof. 2013;33(Suplemento 1):S20–35.

Artículo de Google Scholar

Comité del Instituto de Medicina sobre Calidad de la Atención Médica en A. En: Errar es humano: construir un sistema de salud más seguro. ed. Editado por Kohn LT, Corrigan JM, Donaldson MS. Washington (DC): Prensa de las Academias Nacionales (EE. UU.). Copyright 2000 de la Academia Nacional de Ciencias. Reservados todos los derechos.; 2000.

Weiss KB. El futuro de la certificación de la junta en una nueva era de responsabilidad pública. Junta J Am Fam Med. 2010;23(Suplemento 1):S32–39.

Artículo de Google Scholar

McGlynn EA, Asch SM, Adams J, Keesey J, Hicks J, DeCristofaro A, Kerr EA. La calidad de la atención médica brindada a adultos en los Estados Unidos. Nuevo Inglés J Med. 2003;348(26):2635–45.

Artículo de Google Scholar

James JT. Una nueva estimación basada en evidencia de los daños a los pacientes asociados con la atención hospitalaria. J Seguridad del Paciente. 2013;9(3):122–8.

Makary MA, Daniel M. Error médico: la tercera causa principal de muerte en los EE. UU. BMJ. 2016;353:i2139.

Artículo de Google Scholar

Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, Galbraith R, Hays R, Kent A, Perrott V, et al. Criterios para una buena evaluación: declaración de consenso y recomendaciones de la Conferencia de Ottawa de 2010. Enseñanza médica. 2011;33(3):206–14.

Artículo de Google Scholar

Norcini J, Anderson MB, Bollela V, Burch V, Costa MJ, Duvivier R, Hays R, Palacios Mackay MF, Roberts T, Swanson D. 2018 Marco de consenso para una buena evaluación. Con Enseñar. 2018;40(11):1102–9.

Artículo de Google Scholar

Spike N. ¿La certificación de posgrado médico está mejorando los resultados de salud? Educación Médica. 2002;36:7–8.

Artículo de Google Scholar

Hutchinson L, Aitken P, Hayes T. ¿Son válidos los procesos de certificación de posgrado en medicina? Una revisión sistemática de la evidencia publicada. Educación Médica. 2002;36(1):73–91.

Artículo de Google Scholar

Herb U, Geith U. Criterios para la evaluación cualitativa de publicaciones científicas: Hallazgos del proyecto visOA. Información: ciencia y práctica. 2020;71(2–3):77–85.

Artículo de Google Scholar

Cocinero DA, Reed DA. Evaluación de la calidad de los métodos de investigación en educación médica: el Instrumento de calidad del estudio de investigación en educación médica y la Escala de educación de Newcastle-Ottawa. Acad Med. 2015;90(8):1067–76.

Artículo de Google Scholar

Berkenstadt H, Ziv A, Gafni N, Sidi A. El proceso de validación de la incorporación de la acreditación basada en simulación en los exámenes de la junta nacional israelí de anestesiología. Israel Med Assoc J. 2006;8(10):728–33.

Google Académico

Sun H, Warner DO, Patterson AJ, Harman AE, Rathmell JP, Keegan MT, Dainer RJ, McLoughlin TM, Fahy BG, MacArio A. Examen oral estandarizado de la Junta Estadounidense de Anestesiología para la certificación inicial de la Junta. Analgésico anestésico. 2019;129(5):1394–400.

Artículo de Google Scholar

Warner DO, Lien CA, Wang T, Zhou Y, Isaak RS, Peterson-Layne C, Harman AE, Macario A, Gaiser RR, Suresh S, et al. Resultados del primer año del examen clínico objetivo estructurado de la Junta Estadounidense de Anestesiología para la certificación inicial. Analgésico anestésico. 2020;23:1412–8.

Warner DO, Isaak RS, Peterson-Layne C, Lien CA, Sun H, Menzies AO, Cole DJ, Dainer RJ, Fahy BG, Macario A, et al. Desarrollo de un examen clínico objetivo estructurado como componente de la evaluación para la certificación inicial de la junta en anestesiología. Analgésico anestésico. 2020;130(1):258–64.

Artículo de Google Scholar

Gali A, Roiter H, de Mollein D, Swieszkowskimtsac S, Atamañuk N, Guerreromtsac AA, Grancellimtsac H, Barero C. Evaluación de la calidad de las preguntas de opción múltiple utilizadas en los exámenes de certificación y recertificación de cardiología. Revista Argentina de Cardiología. 2011;79(5):419–22.

Google Académico

Tan LT, McAleer JJA. La introducción de preguntas de mejor respuesta única como prueba de conocimientos en el examen final para la beca del Real Colegio de Radiólogos en Oncología Clínica. Clínica Oncol. 2008;20(8):571–6.

Artículo de Google Scholar

O'Leary F. La simulación como herramienta de evaluación de alto riesgo en medicina de emergencia. EMA - Emerg Med Australas. 2015;27(2):173–5.

Artículo de Google Scholar

Bianchi L, Gallagher EJ, Korte R, Ham HP. Acuerdo entre examinadores sobre el examen de certificación oral de la Junta Estadounidense de Medicina de Emergencia. Ann Emerg Med. 2003;41(6):859–64.

Artículo de Google Scholar

Slovut DP, Saiar A, Gray BH. Certificación de medicina endovascular 2005-2014: informe de la junta estadounidense de medicina vascular. Medicina Vascular (Reino Unido). 2015;20(3):245–50.

Artículo de Google Scholar

Khafagy G, Ahmed M, Saad N. Intensificación de la calidad de las preguntas frecuentes a través de un proceso de revisión de varias etapas. Educa Prim Care. 2016;27(4):299–303.

Artículo de Google Scholar

Weingarten MA, Polliack MR, Tabenkin H, Kahan E. Variaciones entre los examinadores en los exámenes orales de la junta de residencia en medicina familiar. Educación Médica. 2000;34(1):13–7.

Artículo de Google Scholar

O'Neill TR, Royal KD, Puffer JC. Desempeño en el examen de certificación de la Junta Estadounidense de Medicina Familiar (ABFM): ¿son suficientes las habilidades superiores para tomar exámenes para aprobar? Junta J Am Fam Med. 2011;24(2):175–80.

Artículo de Google Scholar

O'Neill TR, Peabody MR, Stelter KL, Puffer JC, Brady JE. Validación de las especificaciones del plan de pruebas para el examen de certificación de la Junta Estadounidense de Medicina Familiar. Junta J Am Fam Med. 2019;32(6):876–82.

Artículo de Google Scholar

Greco M, Spike N, Powell R, Brownlea A. Evaluación de las habilidades de comunicación de los registradores de médicos de cabecera: una comparación de las calificaciones de los pacientes y los examinadores de médicos de cabecera. Educación Médica. 2002;36(4):366–76.

Artículo de Google Scholar

Munro N, Denney ML, Rughani A, Foulkes J, Wilson A, Tate P. Garantizar la confiabilidad en las pruebas escritas de práctica general del Reino Unido: el examen MRCGP 1998-2003. Enseñanza médica. 2005;27(1):37–45.

Artículo de Google Scholar

Simpson RG, Ballard KD. ¿Qué se evalúa en el examen oral del MRCGP? Un estudio cualitativo. Practicante del H. J. Gen. 2005;55(515):430–6.

Google Académico

Sandars J, Coughlin S, Foulkes J. La evaluación de habilidades en medicina basada en evidencia: el enfoque de examen MRCGP. Educa Prim Care. 2004;15:550–63.

Google Académico

Dixon H. El documento de opción múltiple del examen MRCGP: un estudio de las opiniones de los candidatos sobre su contenido y su efecto en el aprendizaje. Educa Prim Care. 2005;16(6):655–62.

Google Académico

Siriwardena AN, Edwards AGK, Campion P, Freeman A, Elwyn G. Involucrar al paciente y aprobar el MRCGP: investigar la toma de decisiones compartida en un examen de habilidades de consultoría utilizando un instrumento validado. Practicante del H. J. Gen. 2006;56(532):857–62.

Google Académico

Dixon H. Opiniones de los candidatos sobre el examen MRCGP y sus efectos sobre los enfoques del aprendizaje: un estudio de cuestionario en el Decanato del Norte. Educa Prim Care. 2003;14:146–57.

Google Académico

Wass V, Wakeford R, Neighbor R, Van Der Vleuten C. Lograr una confiabilidad aceptable en los exámenes orales: un análisis del componente oral del examen de membresía del Royal College of General Practitioners. Educación Médica. 2003;37(2):126–31.

Artículo de Google Scholar

Dixon H, Blow C, Milne P, Siriwardena N, Milne H, Elfes C. Garantía de calidad de la Prueba de conocimientos aplicados (AKT) del examen MRCGP: una evaluación inmediata del cuestionario posterior a la prueba de las opiniones de los candidatos. Educa Prim Care. 2015;26(4):223–32.

Artículo de Google Scholar

Partridge J. Comentarios de los candidatos que se presentaron al módulo escrito del examen de Membresía del Royal College of General Practitioners en la primavera de 2006: una conclusión satisfactoria. Educa Prim Care. 2008;19(2):165–72.

Artículo de Google Scholar

Dixon H, Blow C, Irish B, Milne P, Siriwardena AN. Evaluación de un examen de posgrado para atención primaria: percepciones y desempeño de los formadores de médicos generales en el examen de opción múltiple del examen de membresía del Royal College of General Practitioners. Educa Prim Care. 2007;18(2):165–72.

Artículo de Google Scholar

Bourque J, Skinner H, Dupré J, Bacchus M, Ainslie M, Ma IWY, Cole G. Rendimiento del método de establecimiento de estándares de Ebel en la primavera de 2019, el examen de certificación de medicina interna del Royal College of Medical and Cirujanos de Canadá consistió en preguntas de opción múltiple . J Educ Eval Salud Prof. 2020;17:12–Web.

Chierakul N, Danchaivijitr S, Kontee P, Naruman C. Fiabilidad y validez de casos largos y cortos en el examen de certificación de la junta de medicina interna. J Med Assoc Tailandés. 2010;93(4):424–8.

Google Académico

McManus IC, Mooney-Somers J, Dacre JE, Vale JA. Fiabilidad del examen MRCP (Reino Unido) Parte I, 1984-2001. Educación Médica. 2003;37(7):609–11.

Artículo de Google Scholar

McManus IC, Elder AT, Dacre J. Investigación de posibles sesgos étnicos y sexuales en examinadores clínicos: un análisis de datos de los exámenes PACES y nPACES de MRCP (Reino Unido). BMC Educación Médica. 2013;13:103.

Artículo de Google Scholar

McManus IC, Thompson M, Mollon J. Evaluación de la indulgencia y el rigor del examinador ("efecto halcón-paloma") en el examen clínico MRCP (Reino Unido) (PACES) utilizando modelos Rasch multifacéticos. BMC Educación Médica. 2006;6:42. https://rdcu.be/dkHg6.

Atsawarungruangkit A: Relación de las características del programa de residencia con la tasa de aprobación del examen de certificación de la Junta Estadounidense de Medicina Interna. Med Educa en línea. 2015;20(1):28631.

Marques TR, Lains I, Martins MJ, Goiana-Da-Silva F, Sampaio F, Pessanha I, Fernandes DH, Brandao M, Pinto Teixeira P, de Oliveira SM, et al. Evaluación del examen de la junta médica en Portugal. Minutos Puerto Med. 2018;31(11):670–9.

Artículo de Google Scholar

Burch VC, Norman GR. Convertir palabras en números: establecer una puntuación de corte empírica para un examen calificado con letras. Enseñanza médica. 2009;31(5):442–6.

Artículo de Google Scholar

Burch VC, Norman GR, Schmidt HG, van der Vleuten CP. ¿Son los exámenes de certificación de especialistas una medida confiable de la competencia de los médicos? Educación en ciencias de la salud avanzada. 2008;13(4):521–33.

Artículo de Google Scholar

Cookson J. Una crítica de los exámenes de certificación de especialidad de la Federación de Colegios Reales de Médicos del Reino Unido. Clin Med JR Coll Phys Londres. 2010;10(2):141–4.

Google Académico

Mucklow J. Desarrollo e implementación de los exámenes de certificación de especialidad. Medicina CLINICA. JR Coll Phys Londres. 2011;11(3):235–8.

Google Académico

Raddatz MM, Royal KD, Pennington J. Evaluación de la validez sistemática de un examen de subespecialidad médica. Documento de presentación en línea presentado en la reunión anual de la Asociación de Investigación Educativa del Medio Oeste. 2012.

Google Académico

Lunz ME, Bashook PG. Relación entre la capacidad de comunicación del candidato y los puntajes de los exámenes de certificación oral. Educación Médica. 2008;42(12):1227–33.

Artículo de Google Scholar

Houston JE, Myford CM. Percepción de los jueces sobre la organización y comunicación de los candidatos, en relación con las calificaciones del examen de certificación oral. Acad Med. 2009;84(11):1603–9.

Artículo de Google Scholar

Mathysen DG, Aclimandos W, Roelant E, Wouters K, Creuzot-Garcher C, Ringens PJ, Hawlina M, Tassignon MJ. Evaluación de la adición del análisis de la teoría ítem-respuesta para la evaluación del Examen del Diploma de la Junta Europea de Oftalmología. Acta Oftalmol. 2013;91(7):e573–577.

Artículo de Google Scholar

Mathysen DGP, Aclimandos W, Roelant E, Wouters K, Creuzot-Garcher C, Ringens PJ, Hawlina M, Tassignon MJ. Historia y futuro del examen del Diploma de la Junta Europea de Oftalmología. Acta Oftalmol. 2013;91(6):589–93.

Artículo de Google Scholar

Chow R, Zhang L, Soong IS, Mang OWK, Lui LCY, Wong KH, Siu SWK, Lo SH, Yuen KK, Yau YSH, et al. Confiabilidad entre evaluadores de los examinadores en el examen oral de medicina paliativa del Colegio de Radiólogos de Hong Kong. Hong Kong J Radiol. 2017;20(3):232–6.

Google Académico

Althouse LA, Du Y, Ham HP. Confirmación de la validez de los exámenes de certificación de pediatría general: un análisis de la práctica. J Pediatr. 2009;155(2):155–156.e151.

Artículo de Google Scholar

Emadzadeh A, Ravanshad Y, Makarem A, Azarfar A, Ravanshad S, Aval SB, Mehrad-Majd H, Alizadeh A. Desafíos del examen de la junta nacional de la OSCE en Irán desde la perspectiva de los participantes. Física Electrónica [Recurso Electrónico]. 2017;9(4):4195–201.

Google Académico

Raddatz MM, Robinson LR. Demostración de la validez de constructo del examen de la parte i de la junta estadounidense de medicina física y rehabilitación: un análisis de dimensionalidad. PM y R. 2017;9(10):985–9.

Artículo de Google Scholar

Tibbo P, Templeman K. El examen oral RCPSC: percepciones de los pacientes e impacto en los pacientes psiquiátricos participantes. Can J Psychiat. 2004;49(7):480–6.

Artículo de Google Scholar

Tong E, Spooner M, Van Delden O, Uberoi R, Sheehan M, O'Neill DC, Lee M. La junta europea de examen de radiología intervencionista: una encuesta transversal basada en la web. Intervención cardiovascular Radiol. 2018;41(1):21–6.

Artículo de Google Scholar

Yeung A, Booth TC, Larkin TJ, McCoubrie P, McKnight L. El examen oral FRCR 2B: ¿es confiable? Clín Radiol. 2013;68(5):466–71.

Artículo de Google Scholar

Yeung A, Booth TC, Jacob K, McCoubrie P, McKnight L. El examen FRCR 2B: una encuesta de las percepciones y experiencias de los candidatos. Clín Radiol. 2011;66(5):412–9.

Artículo de Google Scholar

Yang JC, Wallner PE, Becker GJ, Bosma JL, Gerdeman AM. Fiabilidad de los exámenes orales: Examen certificador de oncología radioterápica. Practica Radiat Oncol. 2013;3(1):74–8.

Artículo de Google Scholar

Kerridge WD, Gunderman RB. La validez y el momento del examen básico ABR. Acad Radiol. 2016;23(9):1176–9.

Artículo de Google Scholar

Yang JC, Gerdeman AM, Becker GJ, Bosma JL. Exámenes iniciales de calificación (escritos) de radiología diagnóstica de la Junta Estadounidense de Radiología. AJR Soy J Roentgenol. 2010;195(1):10–2.

Artículo de Google Scholar

Pascual-Ramos V, Guilaisne Bernard-Medina A, Flores-Alvarado DE, Portela-Hernández M, Maldonado-Velázquez MDR, Jara-Quezada LJ, Amezcua-Guerra LM, Rubio-Judith López-Zepeda NE, Álvarez-Hernandez E, Saavedra MÁ, et al. The method used to set the pass mark in an objective structured clinical examination defines the performance of candidates for certification as rheumatologists. Reumatologia Clinica. 2018;14(3):137–41.

Artículo de Google Scholar

Smith JD, Prideaux D, Wolfe CL, Wilkinson TJ, Sen Gupta T, DeWitt DE, Worley P, Hays RB, Cowie M. Desarrollo del programa acreditado de evaluación de posgrado para becas del Colegio Australiano de Medicina Rural y Remota. Salud Rural Remota. 2007;7(4):805.

Google Académico

Beasley SW, Wannan C, Hardware N. Justificación e implicaciones de la introducción de un sistema ampliado de calificación cercana para el examen de becas. ANZ J Surg. 2013;83(6):444–7.

Artículo de Google Scholar

De Montbrun S, Roberts PL, Satterthwaite L, Macrae H. Implementación y evaluación de un examen de certificación nacional de habilidades técnicas. Ann Surg. 2016;264(1):1–6.

Artículo de Google Scholar

Lineberry M, Park YS, Hennessy SA, et al. Prueba de habilidades de Fundamentos de Cirugía Endoscópica (FES): factores asociados con las puntuaciones del primer intento y la tasa de aprobación. Cirugía Endosc. 2020;34:3633–43. https://doi.org/10.1007/s00464-020-07690-6.

Motoyama S, Yamamoto H, Miyata H, Yano M, Yasuda T, Ohira M, Kajiyama Y, Toh Y, Watanabe M, Kakeji Y, et al. Impacto del estado de certificación del instituto y del cirujano en los resultados a corto plazo después de la cirugía por cáncer de esófago torácico: evaluación utilizando datos de 16,752 pacientes de la Base de datos clínica nacional de Japón. Esófago. 2020;17(1):41–9.

Artículo de Google Scholar

Montbrun d, Lynn S. Evaluaciones de habilidades técnicas de alto riesgo en cirugía: desarrollo, implementación y predicción del desempeño. 2017. pág. 2017.

Google Académico

Crisóstomo AC. El efecto de la estandarización en la confiabilidad de los exámenes orales de la Junta de Cirugía de Filipinas. J Surg Educa. 2011;68(2):138–42.

Artículo de Google Scholar

Rhodes RS, Biester TW, Bell RH Jr, Lewis FR Jr. Evaluación del conocimiento quirúrgico: introducción a las políticas de examen de la Junta Estadounidense de Cirugía. J Surg Educa. 2007;64(3):138–42.

Artículo de Google Scholar

Cundy P. Examinando a los examinadores ortopédicos: confiabilidad del examen de beca clínica ortopédica de la Parte 2 en Australia. ANZ J Surg. 2012;82(9):607–11.

Artículo de Google Scholar

Hohmann E, Tetsworth K. Examen de salida de becas en cirugía ortopédica en los países de la Commonwealth de Australia, Reino Unido, Sudáfrica y Canadá. ¿Son comparables y equivalentes? Una perspectiva sobre los requisitos para la migración médica. Med Educa en línea. 2018;23(1):1537429–7.

Gillis ME, Scott SA, Richardson CG, Oxner WM, Gauthier L, Wilson DA, Glennie RA. Desarrollar y evaluar la viabilidad de implementar un Examen de Habilidades Clínicas Estructurado Objetivo Quirúrgico (S-OSCE). J Surg Educa. 2020;77(4):939–46.

Artículo de Google Scholar

Ullmann Y, Fodor L, Meilick B, Eshach H, Ramon Y, Meilick A. El examen oral de la junta para cirugía plástica: Buscando una mejor manera. Enseñanza médica. 2006;28(4):360–4.

Artículo de Google Scholar

Dwyer T, Chahal J, Murnaghan L, Theodoropoulos J, Cheung J, McParland A, Ogilvie-Harris D. Desarrollo de un examen de certificación para becarios de medicina deportiva ortopédica. Can J Surgery Journal canadien de chirurgie. 2020;63(2):E110–7.

Artículo de Google Scholar

Payne SR, Pickard RS, O'Flynn KJ, Winton EP. ¿El Examen Intercolegial de Especialidad en Urología (FRCS Urol) evalúa la amplitud del programa de estudios de urología? Hno. J Med Surg Urol. 2011;4(4):139–47.

Artículo de Google Scholar

Hohmann E, Tetsworth K. Examen de salida de becas en cirugía ortopédica en los países de la Commonwealth de Australia, Reino Unido, Sudáfrica y Canadá. ¿Son comparables y equivalentes? Una perspectiva sobre los requisitos para la migración médica. Med Educa en línea. 2018;23(1):1537429.

Artículo de Google Scholar

Practicantes RCoG. El plan de estudios del RCGP. Ser Médico General. 2019.

Google Académico

Lockyer J, Carraccio C, Chan MK, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR. Principios básicos de la evaluación en la educación médica basada en competencias. Enseñanza médica. 2017;39(6):609–16.

Artículo de Google Scholar

de Montbrun S, Louridas M, Grantcharov T. Aprobar un examen de habilidades técnicas en el primer año de residencia quirúrgica puede predecir el desempeño futuro. J Grad Med Educación. 2017;9(3):324–9.

Artículo de Google Scholar

Molinero GE. La evaluación de habilidades/competencias/desempeño clínico. Acad Med. 1990;65(9 supl.):S63–67.

Artículo de Google Scholar

Van Der Vleuten CPM, Schuwirth LWT. Evaluación de la competencia profesional: de los métodos a los programas. Educación Médica. 2005;39(3):309–17.

Artículo de Google Scholar

Witheridge A, Ferns G, Scott-Smith W. Revisando la pirámide de Miller en la educación médica: la brecha entre la evaluación tradicional y el razonamiento diagnóstico. Int J Med Educación. 2019;10:191–2.

Artículo de Google Scholar

Holmboe ES, Hawkins RE. Métodos para evaluar la competencia clínica de residentes en medicina interna: una revisión. Ann Intern Med. 1998;129(1):42–8.

Artículo de Google Scholar

Hodges B. Evaluación en la era pospsicométrica: aprender a amar lo subjetivo y colectivo. Enseñanza médica. 2013;35(7):564–8.

Artículo de Google Scholar

Kogan JR, Holmboe E. Hacer realidad la promesa y la importancia de la evaluación basada en el desempeño. Enseñar aprender medicina. 2013;25(sup1):S68–74.

Artículo de Google Scholar

Misra S, Iobst WF, Hauer KE, Holmboe ES. La importancia de la evaluación programática basada en competencias en la educación médica de posgrado. J Grad Med Educación. 2021;13(2s):113–9.

Artículo de Google Scholar

van der Vleuten CPM, Schuwirth LWT, Driessen EW, Dijkstra J, Tigelaar D, Baartman LKJ, van Tartwijk J. Un modelo de evaluación programática adecuado para su propósito. Enseñanza médica. 2012;34(3):205–14.

Artículo de Google Scholar

Driessen EW, van Tartwijk J, Govaerts M, Teunissen P, van der Vleuten CP. El uso de la evaluación programática en el lugar de trabajo clínico: informe de un caso de Maastricht. Enseñanza médica. 2012;34(3):226–31.

Artículo de Google Scholar

Van Der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. Doce consejos para la evaluación programática. Enseñanza médica. 2015;37(7):641–6.

Artículo de Google Scholar

Evaluación de habilidades clínicas (CSA) de MRCGP https://www.rcgp.org.uk/training-exams/mrcgp-exam/mrcgp-clinical-skills-assessment-csa.aspx.

Evaluaciones de la WPBA. https://www.rcgp.org.uk/training-exams/training/workplace-based-assessment-wpba/assessments.aspx.

MRCGP: Evaluación de consulta grabada (RCA). https://www.rcgp.org.uk/mrcgp-exams/recorded-consultation-assessment.

Silber JH, Kennedy SK, Even-Shoshan O, Chen W, Mosher RE, Showan AM, Longnecker DE. Certificación de la junta de anestesiólogos y resultados de los pacientes. Anestesiología. 2002;96(5):1044–52.

Artículo de Google Scholar

Wallace A, McFarland BH, Selvam N, Sahota G. Calidad de la atención brindada por psiquiatras y neurólogos certificados versus no certificados. Acad Med. 2017;92(1):108–15.

Artículo de Google Scholar

Norcini J, Lipner R, Kimball H. El estado de certificación de los médicos generalistas y la mortalidad de sus pacientes después de un infarto agudo de miocardio. Acad Med. 2001;76(10 suplementos):S21-23.

Artículo de Google Scholar

Descargar referencias

Nos gustaría agradecer a Sina Riz à Porta por su excelente trabajo editando el manuscrito. También nos gustaría agradecer a los revisores anónimos y a Giampiera Bulfone, miembro del consejo editorial, por sus comentarios constructivos.

No aplica.

Andrea Lörwald y Sören Huwendiek compartieron la última autoría.

Universidad de Berna, Instituto de Educación Médica, Berna, Suiza

Daniel Staudenmann, Noemí Waldner, Andrea Lörwald y Sören Huwendiek

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

Idea original y diseño de estudio de SH. DS creó e implementó la estrategia de búsqueda, fue responsable de los gráficos y el formato y escribió la presente revisión sistemática. DS y NW realizaron la selección mediante criterios de inclusión y exclusión en dos rondas, y AL actuó como juez final en casos de desacuerdo. AL y DS diseñaron los criterios de calidad y relevancia metodológica. DS y NW calificaron todos los estudios incluidos según estos seis criterios, los clasificaron por especialidad médica, país y método de examen, los resumieron y extrajeron contenido relevante sobre los siete Criterios de Ottawa de los estudios elegibles en el archivo adicional 2. AL y SH proporcionaron aportes valiosos en todo el manuscrito. Todos los autores leyeron y aprobaron el manuscrito final.

Correspondencia a Daniel Staudenmann.

No aplica.

No aplica.

SH es miembro del consejo editorial de BMC Medical Education. En caso contrario, los autores declaran que no tienen intereses en conflicto.

Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Términos de búsqueda.

Resumen de estudios

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/. La exención de dedicación de dominio público de Creative Commons (http://creativecommons.org/publicdomain/zero/1.0/) se aplica a los datos disponibles en este artículo, a menos que se indique lo contrario en una línea de crédito a los datos.

Reimpresiones y permisos

Staudenmann, D., Waldner, N., Lörwald, A. et al. Exámenes de certificación de especialidades médicas estudiados según los Criterios de Calidad de Ottawa: una revisión sistemática. BMC Med Educ 23, 619 (2023). https://doi.org/10.1186/s12909-023-04600-x

Descargar cita

Recibido: 28 de mayo de 2023

Aceptado: 18 de agosto de 2023

Publicado: 30 de agosto de 2023

DOI: https://doi.org/10.1186/s12909-023-04600-x

Cualquier persona con la que comparta el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt