Tıpta uzmanlık sınavı göz hastalıkları sorularına yapay zeka ve araştırma görevlilerinin yanıtlarının değerlendirilmesi: Kesitsel çalışma

Erdag M., ÇALIŞKAN T., dal a., CANLEBLEBİCİ M., Balbaba M., YILDIRIM H.

ANADOLU KLİNİĞİ TIP BİLİMLERİ DERGİSİ, cilt.31, sa.2, ss.246-253, 2026 (TRDizin)

  • Yayın Türü: Makale / Tam Makale
  • Cilt numarası: 31 Sayı: 2
  • Basım Tarihi: 2026
  • Doi Numarası: 10.21673/anadoluklin.1727989
  • Dergi Adı: ANADOLU KLİNİĞİ TIP BİLİMLERİ DERGİSİ
  • Derginin Tarandığı İndeksler: Central & Eastern European Academic Source (CEEAS), TR DİZİN (ULAKBİM)
  • Sayfa Sayıları: ss.246-253
  • Hatay Mustafa Kemal Üniversitesi Adresli: Evet

Özet

Amaç: Bu çalışmanın amacı, yapay zekâ tabanlı büyük dil modellerinin (ChatGPT-4.o, Google Gemini Advanced 2.0 ve DeepSeek), Tıpta Uzmanlık Sınavı’nda (TUS) Türkçe olarak sorulmuş göz hastalıkları sorularını yanıtlama performanslarını değerlendirmek ve bu modellerin yanıt düzeylerini, göz hastalıkları alanında görev yapan araştırma görevlilerinin performansıyla karşılaştırmaktır. Yöntem: Bu kesitsel çalışmada, 1987–2021 yılları arasında TUS’ta sorulmuş göz hastalıklarına ait 70 çok- tan seçmeli soru seçilerek, kornea-oküler yüzey, lens, retina, glokom, nörooftalmoloji ve genel oftalmoloji olmak üzere altı ana başlıkta sınıflandırılmıştır. Çalışmaya katılan 19 göz hastalıkları araştırma görevlisi, uzmanlık eğitiminde geçirdikleri yıl sayısına göre dört gruba ayrılmıştır. Seçilen sorular hem araştırma görevlilerine hem de üç büyük dil modeline (ChatGPT-4.o, Google Gemini Advanced 2.0 ve DeepSeek) yöneltilmiş; elde edilen yanıtlar ki-kare testi ile karşılaştırılmıştır. Bulgular: Araştırma görevlileri arasında en yüksek doğruluk oranı %97.1 ile üçüncü yıl grubunda görü- lürken, dil modelleri arasında Gemini ve DeepSeek %92.9 oranıyla öne çıkmıştır. ChatGPT-4.o ise %85.7 oranında başarı göstermiştir. Lens hastalıkları grubunda dil modelleri, retina hastalıklarında ise araştırma görevlileri en düşük başarıyı göstermiştir. Tüm dil modelleri genel olarak %85’nin üzerinde doğruluk ora- nına ulaşmıştır ve birbirleriyle anlamlı fark görülmemiştir (p>0,05). Sonuç: Büyük dil modelleri, oftalmolojiye yönelik sınav sorularında yüksek doğruluk oranları elde edebil- mekte ve insan performansına yakın sonuçlar sunabilmektedir. Bu bulgular, söz konusu modellerin tıbbi eğitim ve değerlendirme süreçlerinde yardımcı araçlar olarak kullanılabileceğini göstermektedir. Bununla birlikte, bu modellerin klinik ortamlarda güvenle kullanılabilmesi için daha geniş katılımlı çalışmalarla doğ- ruluklarının test edilmesi ve her uzmanlık alanı için özel olarak geliştirilmesine ihtiyaç vardır.
Aim: This study aimed to evaluate the performance of large language models (LLMs)—ChatGPT-4.o, Google Gemini Advanced 2.0, and DeepSeek—in answering Turkish-language ophthalmology questions from the Turkish Medical Specialty Examination (TUS), and to compare their accuracy rates with those of ophthalmology trainees. Methods: In this cross-sectional study, 70 multiple-choice ophthalmology questions from TUS (1987– 2021) were selected and categorized into six main topics: cornea-ocular surface, lens, retina, glaucoma, neuro-ophthalmology, and general ophthalmology. A total of 19 ophthalmology research assistants were grouped by their residency year. The same questions were presented to the trainees and to the three LLMs. Accuracy rates were calculated and compared using the chi-square test. Results: Among the trainees, the highest accuracy rate was observed in the third-year group, with 97.1%, while Gemini and DeepSeek stood out with 92.9% accuracy among the LLMs, ChatGPT-4.o achieved 85.7% accuracy. In the lens diseases group, the LLMs performed the lowest, whereas in retina diseases, the trainees showed the lowest performance. All LLMs achieved an overall accuracy rate of above 85%, with no significant difference between them (p>0.05). Conclusion: LLMs can achieve high accuracy rates in ophthalmology exam questions and provide results close to human performance. These findings suggest that these models could be used as helpful tools in medical education and evaluation processes. However, to ensure the safe use of these models in clinical settings, their accuracy needs to be tested in studies with larger participation, and they must be specifi- cally developed for each specialty.