A LEAKAGE-AWARE MACHINE LEARNING ANALYSIS OF THE AQ-10-CHILD AUTISM SCREENING INSTRUMENT: AQ-10 ÇOCUK OTİZM TARAMA ARACININ VERİ SIZINTISINA DUYARLI MAKİNE ÖĞRENMESİ TABANLI ANALİZİ

Hazal KARAKUŞ; Selahattin Barış ÇELEBİ

doi:10.5281/zenodo.21879040

Yazarlar

Hazal KARAKUŞ Batman Üniversitesi
Selahattin Barış ÇELEBİ Batman Üniversitesi https://orcid.org/0000-0002-6235-9348

DOI:

https://doi.org/10.5281/zenodo.21879040

Anahtar Kelimeler:

Yapay zekâ, Otizm spektrum bozukluğu, Veri sızıntısı, Gelişim taraması, Özellik seçimi

Özet

Bu çalışma otizm taramasına yönelik makine öğrenmesi (ML) tabanlı yöntemlerin özellik seçimi yanlılığını (bias) ele almaktadır. AQ-10 çocuk otizm veri seti üzerine yapılan önceki çalışmalar çok yüksek doğruluk puanları raporlamaktadır. Ancak bu yüksek performansın önemli bir bölümü gerçek tahmin gücünden çok veri sızıntısından kaynaklanmaktadır. Bu durum özellik seçiminin eğitim ve test kümeleri ayrılmadan önce yapılması nedeniyle ortaya çıkabilmektedir. Bu nedenle AQ-10 çocuk otizm veri seti yeniden analiz edilmiş ve özellik seçimi yalnızca her bir eğitim katlaması içinde gerçekleştirilmiştir. 4 ila 11 yaş aralığındaki 292 çocuğa ait veriler, 5 katlamalı tabakalı çapraz doğrulama kullanılarak analiz edilmiştir. Her bir eğitim katlamasının içinde, karşılıklı bilgi (mutual information) yöntemi kullanılarak on adet AQ-10 çocuk otizm maddesinden dördü seçilmiştir. Ardından lojistik regresyon (LR), rastgele orman (RF) ve destek vektör makinesi (SVM) tabanlı sınıflandırıcılar bu dört maddelik alt küme üzerinde eğitilmiş ve Friedman testi kullanılarak karşılaştırılmıştır. Sınıflandırıcılar, 0.82 ile 0.84 arasında değişen doğruluk oranları ve 0.89 ile 0.91 arasında değişen AUC değerleri elde etmiştir. Elde edilen performans değerleri özellik seçimini çapraz doğrulama sürecinin dışında yapan çalışmalarda raporlanan değerlerden daha düşüktür. Sonuçlarda dikkat değiştirme, sembolik oyun, yüzlerden duygu okuma ve arkadaş edinme zorluğunu temsil eden maddeler, katlamalar boyunca en sık seçilen maddeler olmuştur. Bu sonuçlar gerçek bir klinik otizm teşhisini değil, AQ-10 çocuk otizm aracının kural tabanlı tarama mantığının ML yoluyla yeniden inşa edilişini yansıtmaktadır. Bu nedenle maddelere ait alt kümenin klinik kullanıma uygunluğu, klinisyenler tarafından doğrulanmış otizm tanılarına sahip bağımsız hasta gruplarında yapılacak dış doğrulama çalışmalarıyla gösterilmelidir.

Referanslar

Akter, T., Shahriare Satu, Md., Khan, Md. I., Ali, M. H., Uddin, S., Lio, P., Quinn, J. M. W., & Moni, M. A. (2019). Machine Learning-Based Models for Early Stage Detection of Autism Spectrum Disorders. IEEE Access, 7, 166509–166527. https://doi.org/10.1109/ACCESS.2019.2952609

Allison, C., Auyeung, B., & Baron-Cohen, S. (2012). Toward Brief “Red Flags” for Autism Screening: The Short Autism Spectrum Quotient and the Short Quantitative Checklist in 1,000 Cases and 3,000 Controls. Journal of the American Academy of Child & Adolescent Psychiatry, 51(2), 202-212. https://doi.org/10.1016/j.jaac.2011.11.003

Ben Ammar, B., & Karamti, W. (2026). Label leakage unmasked: A trustworthy-AI audit of autism screening models using the CLEAR-RD framework. Frontiers in Public Health, 14, 1881829. https://doi.org/10.3389/fpubh.2026.1881829

Çelebi, S. B., Aslan, A., & Canpolat, M. (2026). Predicting Gelation in Copolymers Using Deep Learning Through a Comparative Study of ANN, CNN, and LSTM Models with SHAP Explainability. In G. Bergami, P. Ezhilchelvan, Y. Manolopoulos, S. Ilarri, J. Bernardino, C. K. Leung, & P. Z. Revesz (Eds.), Database Engineered Applications (Vol. 15928, pp. 85–95). Springer Nature Switzerland. https://doi.org/10.1007/978-3-032-06744-9_7

Çelebi, S. B., & Karakuş, H. (2026). Explainable Machine Learning for Preschool Anxiety Disorders Using Raw PAPA Interviews. Balkan Journal of Electrical and Computer Engineering, 14. https://doi.org/10.17694/bajece.1911794

Collins, G. S., Moons, K. G. M., Dhiman, P., Riley, R. D., Beam, A. L., Van Calster, B., Ghassemi, M., Liu, X., Reitsma, J. B., Van Smeden, M., Boulesteix, A.-L., Camaradou, J. C., Celi, L. A., Denaxas, S., Denniston, A. K., Glocker, B., Golub, R. M., Harvey, H., Heinze, G., … Logullo, P. (2024). TRIPOD+AI statement: Updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ, 385, e078378. https://doi.org/10.1136/bmj-2023-078378

Demšar, J. (2006). Statistical comparisons of classifiers over multiple data sets. Journal of Machine Learning Research, 7(Jan), 1-30.

Hearst, M. A., Dumais, S. T., Osuna, E., Platt, J., & Scholkopf, B. (1998). Support vector machines. IEEE Intelligent Systems and Their Applications, 13(4), 18-28. https://doi.org/10.1109/5254.708428

Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), 100804. https://doi.org/10.1016/j.patter.2023.100804

Karakuş, H., Aksoy, M. K., & Çapri, B. (2026). 3-6 Yaş Aralığında Çocuğu Olan Babaların Ebeveyn Tükenmişliği Deneyimleri. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 22(1), 243–259. https://doi.org/10.17860/mersinefd.1893000

Karakuş, H., & Çelebi, S. B. (2026). Pedagogical integration of assistive technology in early childhood special education: A conceptual framework. In Contemporary issues and innovations in educational sciences (pp. 113-132). Vizetek Yayıncılık. https://doi.org/10.54637/vizetek.9786253823207

Kosmicki, J. A., Sochat, V., Duda, M., & Wall, D. P. (2015). Searching for a minimal set of behaviors for autism detection through feature selection-based machine learning. Translational Psychiatry, 5(2), e514-e514. https://doi.org/10.1038/tp.2015.7

Küpper, C., Stroth, S., Wolff, N., Hauck, F., Kliewer, N., Schad-Hansjosten, T., Kamp-Becker, I., Poustka, L., Roessner, V., Schultebraucks, K., & Roepke, S. (2020). Identifying predictive features of autism spectrum disorders in a clinical sample of adolescents and adults using machine learning. Scientific Reports, 10(1), 4805. https://doi.org/10.1038/s41598-020-61607-w

Peng, C.-Y. J., Lee, K. L., & Ingersoll, G. M. (2002). An Introduction to Logistic Regression Analysis and Reporting. The Journal of Educational Research, 96(1), 3-14. https://doi.org/10.1080/00220670209598786

Rajpurkar, P., Chen, E., Banerjee, O., & Topol, E. J. (2022). AI in health and medicine. Nature Medicine, 28(1), 31–38. https://doi.org/10.1038/s41591-021-01614-0

Salman, H. A., Kalakech, A., & Steiti, A. (2024). Random Forest Algorithm Overview. Babylonian Journal of Machine Learning, 2024, 69-79. https://doi.org/10.58496/BJML/2024/007

Shaw, K. A., Williams, S., Patrick, M. E., Valencia-Prado, M., Durkin, M. S., Howerton, E. M., Ladd-Acosta, C. M., Pas, E. T., Bakian, A. V., Bartholomew, P., Nieves-Muñoz, N., Sidwell, K., Alford, A., Bilder, D. A., DiRienzo, M., Fitzgerald, R. T., Furnier, S. M., Hudson, A. E., Pokoski, O. M., … Maenner, M. J. (2025). Prevalence and Early Identification of Autism Spectrum Disorder Among Children Aged 4 and 8 Years-Autism and Developmental Disabilities Monitoring Network, 16 Sites, United States, 2022. MMWR. Surveillance Summaries, 74(2), 1-22. https://doi.org/10.15585/mmwr.ss7402a1

Shim, M., Lee, S.-H., & Hwang, H.-J. (2021). Inflated prediction accuracy of neuropsychiatric biomarkers caused by data leakage in feature selection. Scientific Reports, 11(1), 7980. https://doi.org/10.1038/s41598-021-87157-3

Sollis, L. J., Wall, D. P., & Washington, P. Y. (2025). Compact subsets of autism screening items predict clinical diagnoses with a machine learning analysis of the QCHAT-10. Scientific Reports, 15(1), 39091. https://doi.org/10.1038/s41598-025-26131-9

Tartarisco, G., Cicceri, G., Di Pietro, D., Leonardi, E., Aiello, S., Marino, F., Chiarotti, F., Gagliano, A., Arduino, G. M., Apicella, F., Muratori, F., Bruneo, D., Allison, C., Cohen, S. B., Vagni, D., Pioggia, G., & Ruta, L. (2021). Use of Machine Learning to Investigate the Quantitative Checklist for Autism in Toddlers (Q-CHAT) towards Early Autism Screening. Diagnostics, 11(3), 574. https://doi.org/10.3390/diagnostics11030574

Thabtah, F. (2017). Autistic Spectrum Disorder Screening Data for Children [Dataset]. UCI Machine Learning Repository. https://doi.org/10.24432/C5659W

Thabtah, F., Kamalov, F., & Rajab, K. (2018). A new computational intelligence approach to detect autistic features for autism screening. International Journal of Medical Informatics, 117, 112-124. https://doi.org/10.1016/j.ijmedinf.2018.06.009

Thabtah, F., Spencer, R., Abdelhamid, N., Kamalov, F., Wentzel, C., Ye, Y., & Dayara, T. (2022). Autism screening: An unsupervised machine learning approach. Health Information Science and Systems, 10(1), 26. https://doi.org/10.1007/s13755-022-00191-x

Uğur, Ş. (2020). The examination of paternity roles of fathers with 0-8 years old: Siirt example [Master’s thesis]. Üsküdar University.

Vandewiele, G., Dehaene, I., Kovács, G., Sterckx, L., Janssens, O., Ongenae, F., De Backere, F., De Turck, F., Roelens, K., Decruyenaere, J., Van Hoecke, S., & Demeester, T. (2021). Overly optimistic prediction results on imbalanced data: A case study of flaws and benefits when applying over-sampling. Artificial Intelligence in Medicine, 111, 101987. https://doi.org/10.1016/j.artmed.2020.101987

Wall, D. P., Kosmicki, J., DeLuca, T. F., Harstad, E., & Fusaro, V. A. (2012). Use of machine learning to shorten observation-based screening and diagnosis of autism. Translational Psychiatry, 2(4), e100-e100. https://doi.org/10.1038/tp.2012.10

AQ-10 ÇOCUK OTİZM TARAMA ARACININ VERİ SIZINTISINA DUYARLI MAKİNE ÖĞRENMESİ TABANLI ANALİZİ