Медична освіта

Відповідно до постанови Кабінету Міністрів України від 28 березня 2018 року № 275  «Деякі питання проведення міжнародного моніторингового дослідження якості вищої медичної освіти у 2018 році» та наказу Міністерства охорони здоров’я України від 01 лютого 2019 року № 283 «Про деякі питання проведення міжнародного моніторингового дослідження якості вищої медичної освіти», зареєстрованого у Міністерстві юстиції України 11 березня 2019 року за № 239/33210, 15 березня 2019 року відбулося міжнародне моніторингове дослідження якості вищої медичної освіти (далі – дослідження).

Дослідження проводилося за допомогою міжнародного іспиту з основ медицини у формі тесту (далі – міжнародний іспит). Міжнародний іспит із серії іспитів International Foundations of Medicine® (IFOM®) вимірює компетентність у фундаментальних науках, які мають загальносвітове відношення до медичної практики. Акцент робиться на принципах і механізмах, що лежать в основі здоров’я, хвороби і режимів терапії. Тестові матеріали призначені для вимірювання навичок застосування фундаментальних наукових знань у клінічному контексті.

Для участі у дослідженні було зареєстровано 7560 студентів з 20 закладів вищої освіти, проте Одеський національний медичний університет відмовився від участі. Фактично у  дослідженні взяли участь 6275 студентів з 19 закладів вищої освіти. Дослідження проходило українською мовою у 130 аудиторіях та тривало 4 години.

За дотриманням вимог під час проведення дослідження стежили 180 прокторів. До адміністрування була залучена Рада Ветеранів АТО. Представники громадської спілки «Рух ветеранів України» відгукнулись на запрошення МОЗ України і пройшли спеціальний тренінг від державної організації «Центр тестування професійної компетентності фахівців з вищою освітою напрямів підготовки «Медицина» і «Фармація» при Міністерстві охорони здоров’я України», щоб стати прокторами.

Співробітники Національної ради медичних екзаменаторів Сполучених Штатів Америки Джон Феш і Бет Галлахер відвідали аудиторії Львівського національного медичного університету імені Данила Галицького та Харківського національного медичного університету відповідно. Метою їхньої присутності було проконтролювати умови проведення дослідження, в результаті чого вони відзначили таке:

матеріали були надійно збережені до міжнародного іспиту,  безпека тестових матеріалів підтримувалася протягом розповсюдження тестів, адміністрування міжнародного іспиту та післятестової упаковки;

облаштування приміщень було задовільним в обох місцях, де відбувався моніторинг;

реєстрація в день проведення дослідження була складною та не ідеальною в обох місцях, де відбувався моніторинг, але в підсумку все завершилось без значних інцидентів;

процедури тестування були дотримані у всіх приміщеннях для тестування, де перебували спостерігачі;

в обох моніторингових локаціях більшість учасників дослідження дуже швидко закінчили написання міжнародного іспиту, частина – лише за 1 годину і майже всі – за 3 години;

тестові матеріали після міжнародного іспиту були негайно повернуті.

17 травня 2019 року МОЗ України отримало від Національної ради медичних екзаменаторів Сполучених Штатів Америки звіти з результатами:

звіти про успішність кожного учасника дослідження, які містять загальний бал за результатами міжнародного іспиту, та профілі успішності, які описують сильні та слабкі сторони, у порівнянні з міжнародною порівняльною групою по кожній дисципліні, що охоплювалася міжнародним іспитом;

реєстри з оцінками, в яких перелічується кожен учасник дослідження та їх загальний бал за результатами міжнародного іспиту, а також інформація про середньоарифметичний бал групи учасників дослідження, стандартне відхилення, мінімальна та максимальна якість робіт учасників дослідження;

групові підсумкові звіти, які містять звіт про груповий стандарт у форматі таблиці, який надає інформацію як щодо групи учасників дослідження, так і щодо міжнародної порівняльної групи, звіт про якість робіт групи, який надає графічне порівняння загальної якості робіт групи учасників дослідження та міжнародної порівняльної групи, підсумковий звіт щодо профільної успішності, який наводить блокові діаграми, що демонструють якість робіт групи учасників дослідження в усіх основних галузях знань, що охоплені міжнародним іспитом.

Кожен учасник дослідження може отримати персональний звіт про результати міжнародного іспиту, який показує наведений загальний
відсоток правильних відповідей при проходженні міжнародного іспиту, а також профіль оцінок, який відображає індивідуальні сильні та слабкі сторони учасника в основних предметних областях, звернувшись до МОЗ України.

Оцінка міжнародного іспиту – це наведений відсоток правильних відповідей, що відображає знання предметної області, яка оцінюється під час іспиту. Він розраховується як відсоток правильних відповідей на всі запитання в предметній області, які учасник іспиту дав завдяки своєму рівню кваліфікації. Оцінки подаються у класичній відсотковій шкалі (0-100%) для полегшення інтерпретації. Цю шкалу можна легко включити до інших схем оцінювання. Оцінки міжнародного іспиту приводяться до всіх систем тестового оцінювання і статистично коригуються згідно із ступенем складності іспитів. Отже, ці оцінки можуть бути використані для порівняння та відстеження показників учасників іспитів та навчальних закладів протягом довгих періодів.

На графіку загальних результатів ми бачимо, що найбільше студентів – 1205 склали іспит на 23 – 25 %, 1145 студентів – на 20 – 22 %, з результатом 26 % майже вдвічі менше, з підвищенням балу кількість студентів різко спадає. Лише 96 студентів, а це становить 1,5 % від загальної кількості тих, хто взяв участь у дослідженні, склали міжнародний іспит більше, ніж на 50 %.

Похибка вимірювання присутня в усіх тестах, таким чином, стандартна похибка вимірювання (SEM) є індексом неточності оцінки. Стандартна похибка вимірювання для міжнародного іспиту становить близько 5
балів. За допомогою стандартної похибки вимірювання можна розрахувати діапазон оцінок, який показує, як може відрізнятися оцінка під час проведення повторних тестів при використанні різних наборів завдань, що охоплюють аналогічний матеріал. Діапазон, який повинен охоплювати
приблизно дві третини оцінок, отриманих при повторному тестуванні, розраховується шляхом додавання та віднімання стандартної похибки вимірювання від отриманої оцінки. Стандартна помилка різниці (SED) в оцінках є індексом, який використовується для визначення того, чи є різниця між двома оцінками статистично значущою.

Графік складання міжнародного іспиту у рамках дослідження має рівномірний розподіл балів, подібний до кривої Гауса, однак зміщений вліво – це означає, що більшість студентів складає міжнародний іспит на невисокі бали. Однак відсутність аномальних стрибків при певному значенні вказує на те, що складання і перевірка міжнародного іспиту відбувається об’єктивно, без зовнішніх втручань або штучної корекції.

Таблиця максимального та мінімального результату у закладах вищої освіти

Аналіз таблиці максимального та мінімального результату у закладах вищої освіти демонструє таке:

найбільшою є частка студентів Національного медичного університету ім. О.О. Богомольця, Вінницького національного медичного університету iмені М.І. Пирогова, Запорізького державного медичного університету, Львівського національного медичного університету імені Данила Галицького;

середні значення результатів у закладах вищої освіти коливаються у проміжку від 20,8 % до 29,1 %;

середній результат по Україні становить 26,6 %;

найгірший результат – 8 % набраних правильних відповідей;

найкращий результат – 75 %, ще троє студентів набрали 70 %;

найкраще міжнародний іспит склали студенти Львівського національного медичного університету імені Данила Галицького, Національного медичного університету ім. О.О. Богомольця, Державного вищого навчального закладу «Тернопільський державний медичний університет імені  І. Я. Горбачевського»;

найгірше з міжнародним іспитом впоралися студенти приватних закладів вищої освіти: ТзОВ «Львівський медичний інститут», Приватного вищого навчального закладу «Міжнародна академія екології та медицини», Товариства з обмеженою відповідальністю «Дніпровський медичний інститут традиційної і нетрадиційної медицини».

Таблиця з квартилями

Таблиця з квартилями демонструє, яка частка студентів отримує найгірші – Q1, посередні – Q2, Q3, та найкращі – Q4 результати міжнародного іспиту (співвідношення кількості балів), відповідно:

найбільше негативних результатів отримали студенти приватних закладів вищої освіти – Товариства з обмеженою відповідальністю «Дніпровський медичний інститут традиційної і нетрадиційної медицини», ТзОВ «Львівський медичний інститут» і Приватного вищого навчального закладу «Міжнародна академія екології та медицини»;

найменше негативних результатів отримали студенти Державного вищого навчального закладу «Тернопільський державний медичний університет імені  І. Я. Горбачевського»,  Львівського національного медичного університету імені Данила Галицького, Державного закладу «Луганський державний медичний університет»;

найбільше позитивних результатів отримали студенти Львівського національного медичного університету імені Данила Галицького, Національного медичного університету ім. О.О. Богомольця, Державного вищого навчального закладу «Тернопільський державний медичний університет імені  І. Я. Горбачевського», Вищого державного навчального закладу України «Буковинський державний медичний університет», Вінницького національного медичного університету iмені М.І. Пирогова, Запорізького державного медичного університету, Харківського національного медичного університету.

Квартилі розраховано з урахуванням дискретності шкали отриманих учасниками дослідження балів і округлення.

Міжнародний іспит надав можливість порівняти результати наших студентів з іншими країнами. Таке порівняння здійснюється в межах сформованої міжнародної порівняльної групи (International Comparison Group, ICG) лише Національною радою медичних екзаменаторів Сполучених Штатів Америки. Результат міжнародної порівняльної групи – це статистичний показник, який представлений у перцентильній шкалі.

Міжнародна порівняльна група включала 3518 осіб з Північної та Південної Америки (25,4 %), Азії, включаючи Близький Схід (44,0 %), Європи (13,8 %) та Океанії (16,7 %), що складали міжнародний іспит в 2015 – 2018. Середня оцінка міжнародного іспиту в міжнародній порівняльній групі становила 54 %, а стандартне відхилення становило 17 %.

З коробчастої діаграми бачимо, що українські студенти складають іспит у середньому гірше, ніж міжнародна порівняльна група, і відхилення результатів менше.

Українські студенти склали іспит у середньому на 27 %, у той час як міжнародна порівняльна група складає його в середньому вдвічі краще – на 54 %. Стандартне відхилення в українській групі становить 8 %, у міжнародній групі – 17 %.

Такі показники свідчать про те, що знання українських студентів нижчі та гомогенніші за своєю структурою.

З діаграм успішності по дисциплінах випливає, що українські студенти гірше впоралися із запитаннями з анатомії та фізіології, які вивчаються на молодших курсах.

Низький результат продемонстрували українські студенти й по блоку запитань, що стосуються  захворювань сполучної тканини, проте ці захворювання розділені між спеціальностями, які частково вивчаються на старших курсах.

Варто зауважити, що діагностика та застосування фундаментальних знань також дуже обмежено викладається на перших курсах навчання.

Проведене дослідження перевірило рівень так званих «залишкових знань» у студентів 4 курсу, тобто ті знання, які фактично засвоюються здобувачами. В цілому, низький відсоток складання узагальнено показує слабкість підготовки українських студентів в закладах вищої освіти. Оскільки заклади вищої освіти на підставі відповідної освітньої програми за кожною спеціальністю розробляють навчальні плани, які визначають перелік та обсяг навчальних дисциплін у кредитах ЄКТС, послідовність вивчення дисциплін, форми проведення навчальних занять та їх обсяг, графіки навчального процесу, форми поточного і підсумкового контролю, а на основі навчального плану   у  визначеному   закладом вищої  освіти   порядку   розробляються     та

затверджуються індивідуальні навчальні плани студентів, що мають містити, у тому числі обрані здобувачами вищої освіти навчальні дисципліни, для покращення якості підготовки студентів у першу чергу необхідно працювати над зміною навчальних програм та оновленням літератури.

Очікується, що з огляду на рівень вмотивованості, результати складання міжнародного іспиту з основ медицини як компонента єдиного державного кваліфікаційного іспиту будуть кращими у третьокурсників. Проте, враховуючи низькі результати дослідження, існують ризики, пов’язані із встановленням критерію складання до проведення іспиту лише на основі дослідження. Зважаючи на це, МОЗ України пропонує встановити критерій складання міжнародного іспиту з основ медицини як компонента єдиного державного кваліфікаційного іспиту після його проведення через практику формування робочої групи – експертної панелі, до складу якої увійдуть представники закладів вищої освіти та практики-експерти. Завданням такої робочої групи буде здійснення процедури стандартного встановлення cut score.

Міжнародний іспит є оптимальним інструментом оцінки якості медичної освіти, який дозволяє об’єктивно та неупереджено оцінити підготовку студентів. Міжнародний іспит як обов’язкова складова єдиного державного кваліфікаційного іспиту сприятиме удосконаленню та гармонізації підготовки здобувачів в закладах вищої освіти, наближенню її до якості підготовки лікарів у провідних країнах Європи та світу.