Chatbotlardan Elde Edilen Böbrek Kisti Bilgilerinin Değerlendirilmesi: Karşılaştırmalı Bir Çalışma
Endoüroloji Bülteni, cilt.18, sa.3, ss.126-133, 2026 (TRDizin)
- Yayın Türü: Makale / Tam Makale
- Cilt numarası: 18 Sayı: 3
- Basım Tarihi: 2026
- Doi Numarası: 10.54233/endourolbull-1848567
- Dergi Adı: Endoüroloji Bülteni
- Derginin Tarandığı İndeksler: TR DİZİN (ULAKBİM)
- Sayfa Sayıları: ss.126-133
- Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
- Hatay Mustafa Kemal Üniversitesi Adresli: Evet
Özet
Amaç: Böbrek kistleri, böbreğin en sık görülen edinsel lezyonlarıdır. Çalışmanın amacı, böbrek kistleriyle ilgili sorulara üç yapay zekâ sohbet botu tarafından verilen yanıtların güvenilirliğini ve kalitesini değerlendirmektir.Gereç ve Yöntemler: Semrush platformu kullanılarak böbrek kistleriyle ilişkili arama eğilimleri beş yıllık dönem boyunca analiz edildi. Yirmi beş soru; “genel bilgiler”, “semptomlar ve tanı yöntemleri”, “tedavi ve takip yaklaşımları” ile “yan etkiler ve komplikasyonlar” olarak gruplandı. Sorular üç sohbet botuna (ChatGPT-4, Gemini Pro, Llama 3.1 Large) yöneltildi. Yanıtların okunabilirliği Flesch-Kincaid Sınıf Düzeyi (FKGL) testi ve Flesch Okunabilirlik Kolaylığı Skoru (FRES) testiyle değerlendirildi. Güvenilirlik ve kalite ise Hastalar İçin Bilgi Kalitesinin Sağlanması (Ensuring Quality Information for Patients – EQIP) skoru ve modifiye DISCERN skoru kullanılarak analiz edildi.Bulgular: Llama’nın FKGL skoru ChatGPT’ye kıyasla anlamlı derecede yüksekti (p = 0,022); Llama ile Gemini (p = 0,500) ve Gemini ile ChatGPT (p = 0,525) arasında fark saptanmadı. FRES ölçeğinde ChatGPT, Gemini’den; Gemini ise Llama’dan yüksek skor elde etti (sırasıyla p = 0,006 ve p = 0,012). Medyan modifiye DISCERN skoru ChatGPT için en düşük değerdi (2); bu değer Gemini (3) ve Llama (3) ile karşılaştırıldığında anlamlı fark gösterdi (p < 0,001). Ortalama EQIP skoru ChatGPT için 71,22 ± 3,91, Gemini için 77,72 ± 1,16 ve Llama için 73,26 ± 2,70 bulundu (p < 0,001). ChatGPT, diğer sohbet botlarına kıyasla daha düşük kalite skorlarına sahipti.Sonuçlar: ChatGPT, FRES skoruna göre en okunabilir yanıtları oluşturmasına rağmen, kalite ve güvenilirlik açısından Gemini ve Llama’ya kıyasla daha düşük performans göstermiştir. Genel olarak sohbet botlarının yanıtları okunabilirlik ve anlaşılabilirlik açısından zorlayıcı bulunmuş olup, hasta eğitimi için güvenilir bağımsız bir kaynak olarak değerlendirilebilmeleri için daha fazla geliştirmeye ihtiyaç vardır.
Objective: Kidney cysts are the most common acquired lesions of the kidney. This study aims to assess the reliability and quality of responses provided by three different artificial intelligence chatbots to questions related to kidney cysts.Materials and Methods: Using the Semrush platform, we analyzed kidney cyst-related search trends over five years. We examined 25 questions, categorized into four subgroups: “general information”, “symptoms and diagnostic methods”, “treatment and follow-up procedures”, and “side effects and complications”. These questions were posed to three chatbots (ChatGPT-4, Gemini Pro, Llama 3.1 Large). Response readability was assessed using Flesch-Kincaid Grade Level (FKGL) test and Flesch Reading Ease Score (FRES) test. Reliability and quality were evaluated using the Ensuring Quality Information for Patients (EQIP) score and modified DISCERN score.Results: Llama had a significantly higher FKGL score than ChatGPT (p = 0.022), with no significant difference between Llama and Gemini (p = 0.500), or Gemini and ChatGPT (p = 0.525). On the FRES scale, ChatGPT scored higher than Gemini, and Gemini outperformed Llama (p = 0.006 and p = 0.012, respectively). The median modified DISCERN score was lowest for ChatGPT (2), compared to Gemini (3) and Llama (3) (p < 0.001). The mean EQIP score was 71.22 ± 3.91 for ChatGPT, 77.72 ± 1.16 for Gemini and 73.26 ± 2.70 for Llama (p < 0.001). ChatGPT had significantly lower quality scores than the other two chatbots.Conclusion: Although ChatGPT generated the most readable responses according to the FRES score, it demonstrated lower quality and reliability than Gemini and Llama. Overall, chatbot responses remained challenging in terms of readability and comprehension, highlighting the need for further improvements before they can be considered a reliable standalone source of patient education.