Kontekst: Få undersøgelser har undersøgt, hvor godt scorer fra Comprehensive Osteopathic Medical Licensing Examination-USA (COMLEX-USA)-serien forudsiger resultater for residenter, såsom præstation på bestyrelsescertificeringseksamen.
Målsætninger: At fastslå, hvor godt COMLEX-USA forudsiger præstation på American Osteopathic Board of Emergency Medicine (AOBEM) Part I-certificeringsprøve.
Metoder: Målgruppen for undersøgelsen var førstegangs eksaminander, der tog AOBEM del I i 2011 og 2012 med matchede præstationer på COMLEX-USA niveau 1, niveau 2 – kognitiv evaluering (CE) og niveau 3. Pearson-korrelationer blev beregnet mellem AOBEM Part I-scoringer ved første forsøg og COMLEX-USA-præstationer for at måle sammenhængen mellem disse eksamener. Der blev foretaget en trinvis lineær regressionsanalyse for at forudsige AOBEM Part I-scoren ud fra de 3 COMLEX-USA-scorer. Der blev foretaget en uafhængig t-test for at sammenligne de gennemsnitlige COMLEX-USA-præstationer mellem kandidater, der bestod og ikke bestod AOBEM del I, og der blev anvendt en trinvis logistisk regressionsanalyse til at forudsige logodds for at bestå AOBEM del I på grundlag af COMLEX-USA-præstationer.
Resultater: Resultater fra AOBEM del I havde den højeste korrelation med COMLEX-USA niveau 3-scoringer (.57) og en lidt lavere korrelation med COMLEX-USA niveau 2-CE-scoringer (.53). Den laveste korrelation var der mellem AOBEM del I og COMLEX-USA niveau 1-scoringer (.47). I henhold til den trinvise regressionsmodel forklarede COMLEX-USA niveau 1- og niveau 2-CE-scoringer, som ofte anvendes som udvælgelseskriterier på kandidatuddannelserne, tilsammen 30 % af variansen i AOBEM del I-scoringer. Tilføjelse af niveau 3-scoringer forklarede 37 % af variansen. Den uafhængige t-test viste, at de 397 eksaminander, der bestod AOBEM del I, klarede sig signifikant bedre end de 54 eksaminander, der ikke bestod AOBEM del I, på alle 3 COMLEX-USA-niveauer (P<.001 for alle 3 niveauer). Den logistiske regressionsmodel viste, at COMLEX-USA-niveau 1 og niveau 3-scoren forudsagde logodds for at bestå AOBEM del I (henholdsvis P=.03 og P<.001).
Konklusion: Denne undersøgelse understøttede empirisk den prædiktive og diskriminante validitet af COMLEX-USA-serien i forhold til AOBEM Part I-certificeringsprøven. Selv om uddannelsesprogrammer kan bruge COMLEX-USA niveau 1- og niveau 2-CE-scoringer som delkriterier ved udvælgelsen af kandidater, er niveau 3-scoringer, selv om de typisk ikke er tilgængelige på ansøgningstidspunktet, faktisk de mest statistisk relaterede til præstationerne på AOBEM del I.