Dil modelleri, hukuki bir soruya akıcı ve kendinden emin bir üslupla cevap verir. Ancak bu üslup, cevabın doğruluğuna ilişkin bir güvence teşkil etmez. Model, bilgi sahibi olmadığı konularda da aynı kesinlikle yazabilmekte; esas ve karar numarası belirterek, daire adı vererek, hatta gerekçeden alıntı yaparak gerçekte bulunmayan kararlara atıfta bulunabilmektedir. Kararın mevcut olup olmadığı, cevabın kendisinden anlaşılamaz.
Bu risk kuramsal değildir. 2023 yılında New York'ta bir federal mahkeme, yapay zekâ tarafından üretilen ve gerçekte bulunmayan kararlara dayanan bir dilekçe nedeniyle ilgili avukatlar hakkında yaptırım uygulamıştır. Avukatlar, atıf yapılan kararların varlığını ayrıca denetlememiştir.
Sorun, dayanağı gösterilmeyen tespittir
Bir stajyer tarafından hazırlanan not incelenirken her iddianın dayanağı aranır: iddia hangi evraka, hangi sayfaya ya da hangi karara dayanmaktadır? Dayanağı gösterilmeyen tespit ya metinden çıkarılır ya da dayanağının ortaya konulması istenir. Yapay zekâ çıktıları bakımından da aynı ölçüt geçerli olmalıdır.
Mütalaa'da bu ölçüt bir kural olarak uygulanır:
- Dosya bakımından: her tespit, evrak adı ve sayfa numarasıyla birlikte sunulur. Alıntı yapılmışsa, alıntı evrak metniyle karşılaştırılır.
- İçtihat bakımından: atıf yapılan kararın künyesi derlemde aranır. Derlemde bulunmayan karar, doğrulanamadığı belirtilerek gösterilir; bulunan kararın tam metnine doğrudan ulaşılır.
- Mevzuat bakımından: madde metni, kanunun kendisinden ve madde numarasıyla birlikte aktarılır.
Denetim avukattadır
Atıf, çıktının avukat tarafından denetlenebilmesini sağlar. Dayanağı gösterilen bir tespit kısa sürede doğrulanabilir; dayanağı gösterilmeyen bir tespitin doğrulanması ise araştırmanın baştan yapılmasını gerektirir.
Bu nedenle Mütalaa'da atıf içermeyen çıktı kabul edilmez. Hangi tespite itibar edileceğine ilişkin takdir, her hâlde avukata aittir.