ChatGPT, ABD Tıp Lisansı Sınavını Neredeyse Geçiyordu

Sohbete dayalı yapay zekâ botu ChatGPT, yazılı metin üretme, web'de arama yapma ve kendimizi eğitme yöntemlerimizi dönüştürmeyi vaat ediyor.

En son ChatGPT başarısı ise oldukça sıradışı denilebilecek türden. ChatGPT ABD Tıbbi Ruhsatlandırma Sınavını (USMLE) neredeyse geçmek üzere.

Burada zorluğuyla bilinen, tamamlanması genellikle 300 ila 400 saat kadar hazırlık gerektiren ve temel bilim kavramlarından biyoetiğe kadar her şeyi kapsayan bir sınavdan bahsediyoruz.

USMLE aslında üç sınavdır ve ChatGPT'nin sorularını yanıtlayabilme becerisi, bu yapay zeka botlarının bir gün tıbbi eğitim ve hatta belirli türde teşhisler koymak için yararlı olabileceğini göstermektedir.

Araştırmacılar yayınlanan makalelerinde "ChatGPT, herhangi bir özel eğitim veya takviye olmaksızın 3 sınav için de geçme eşiğinde veya buna yakın bir performans gösterdi" diye yazıyor. "Ayrıca ChatGPT, cevaplamalarında yüksek düzeyde uyum sergiledi."

ChatGPT, büyük dil modeli veya LLM olarak bilinen bir tür yapay zekadır. Bu LLM'ler özellikle yazılı yanıtlara yöneliktir ve çok miktarda örnek metin ve bazı akıllı algoritmalar aracılığıyla, telefonunuzun tahmine dayalı metin işlevinin ağabeyi gibi, bir cümlede hangi kelimelerin bir araya gelmesi gerektiği konusunda tahminlerde bulunabilirler.

ChatGPT aslında hiçbir şey 'bilmiyor', ancak çok büyük miktarda çevrimiçi materyali analiz ederek, hemen hemen her konuda akla yatkın görünen cümleler kurabiliyor.

Çeşitli ifadelerin olasılığına bağlı olarak, AI esrarengiz bir şekilde akıllı görünebilir veya en saçma sonuçlara varabilir.

Ansible Health girişiminden araştırmacılar, yanıtların Google'da bulunmadığını kontrol ettikten sonra USMLE'den örnek sorular kullanarak bunu test ettiler; bu nedenle, ChatGPT'nin üzerinde eğitildiği verilere dayalı olarak yeni yanıtlar oluşturacağını biliyorlardı.

Teste tabi tutulan ChatGPT, üç sınavda yüzde 52,4 ile yüzde 75 arasında puan aldı (geçme notu genellikle yüzde 60 civarındadır). Yanıtlarının yüzde 88,9'unda, araştırmacılar tarafından "yeni, açık olmayan ve klinik olarak geçerli" olarak tanımlanan en az bir önemli fikir üretti.

Çalışmanın yazarları bir basın açıklamasında, "Zorluğuyla bilinen bu uzman sınavı için geçme puanına ulaşmak ve bunu herhangi bir insan takviyesi olmadan yapmak, klinik AI olgunlaşmasında dikkate değer bir kilometre taşını işaret ediyor" dedi.

ChatGPT ayrıca yanıtlarında etkileyici bir şekilde tutarlı olduğunu kanıtladı ve hatta her yanıtın ardındaki mantığı sağlayabildi. Ayrıca, özellikle tıp literatürü üzerine eğitilmiş bir bot olan PubMedGPT'nin yüzde 50,3 doğruluk oranını da geçti.

ChatGPT'nin üzerinde eğitim aldığı bilgilerin yanlışlıklar içereceğini hatırlamakta fayda var: botun kendisine sorarsanız, LLM'lerin güvenilirliğini artırmak için daha fazla çalışmanın gerekli olduğunu kabul edecektir. Öngörülebilir gelecekte hiçbir noktada tıp uzmanlarının yerini almayacak.

Bununla birlikte, özellikle bu yapay zekâ botları önümüzdeki yıllarda daha iyi olmaya devam ettikçe, çevrimiçi bilgiyi ayrıştırma potansiyeli açıkça çok büyük. Tıp mesleğinde insanların yerini almak yerine, onlar için hayati yardımcılar haline gelebilirler.

Araştırmacılar, "Bu sonuçlar, büyük dil modellerinin tıp eğitimine ve potansiyel olarak klinik karar vermeye yardımcı olma potansiyeline sahip olabileceğini gösteriyor" diye yazıyor.

Araştırma PLOS Digital Health'te yayınlandı.