Tablo 01
Ölçülen doğruluk
403 belgelik ana sette varlık düzeyinde ölçüm; Ağustos 2026 değerlendirmesi.
16 sistem
Yüksek değer daha iyi
Gurubase Siper
Kurum içiYanlış alarm: 0,084Recall
0,881
Tüm ölçümler
- Recall
- 0,881
- Precision
- 0,558
- F1 (%95 GA)
- 0,683 [0,657-0,707]
- Yanlış alarm
- 0,084
Bulut LLM A
Bulut APIYanlış alarm: 0,121Recall
0,722
Tüm ölçümler
- Recall
- 0,722
- Precision
- 0,614
- F1 (%95 GA)
- 0,663 [0,637-0,689]
- Yanlış alarm
- 0,121
Bulut LLM B
Bulut APIYanlış alarm: 0,019Recall
0,544
Tüm ölçümler
- Recall
- 0,544
- Precision
- 0,601
- F1 (%95 GA)
- 0,571 [0,532-0,605]
- Yanlış alarm
- 0,019
Küresel PII API'si A
Bulut APIYanlış alarm: 0,486Recall
0,525
Tüm ölçümler
- Recall
- 0,525
- Precision
- 0,624
- F1 (%95 GA)
- 0,570 [0,537-0,600]
- Yanlış alarm
- 0,486
Açık model LLM
Kurum içiYanlış alarm: ÖlçülmediRecall
0,502
Tüm ölçümler
- Recall
- 0,502
- Precision
- 0,572
- F1 (%95 GA)
- 0,535 [0,503-0,566]
- Yanlış alarm
- Ölçülmedi
Açık kaynak araç A (iyi yapılandırma)
Kurum içiYanlış alarm: 0,816Recall
0,415
Tüm ölçümler
- Recall
- 0,415
- Precision
- 0,365
- F1 (%95 GA)
- 0,389 [0,356-0,420]
- Yanlış alarm
- 0,816
Açık kaynak araç D
Kurum içiYanlış alarm: 0,022Recall
0,349
Tüm ölçümler
- Recall
- 0,349
- Precision
- 0,744
- F1 (%95 GA)
- 0,475 [0,432-0,517]
- Yanlış alarm
- 0,022
Küresel bulut sağlayıcı A
Bulut APIYanlış alarm: 0,034Recall
0,276
Tüm ölçümler
- Recall
- 0,276
- Precision
- 0,888
- F1 (%95 GA)
- 0,421 [0,363-0,472]
- Yanlış alarm
- 0,034
Açık kaynak araç A (hazır profil)
Kurum içiYanlış alarm: 0,863Recall
0,269
Tüm ölçümler
- Recall
- 0,269
- Precision
- 0,245
- F1 (%95 GA)
- 0,256 [0,225-0,285]
- Yanlış alarm
- 0,863
Küresel bulut sağlayıcı B
Bulut APIYanlış alarm: 0,402Recall
0,259
Tüm ölçümler
- Recall
- 0,259
- Precision
- 0,422
- F1 (%95 GA)
- 0,321 [0,275-0,363]
- Yanlış alarm
- 0,402
Açık ağırlık Türkçe model
Kurum içiYanlış alarm: 0,131Recall
0,256
Tüm ölçümler
- Recall
- 0,256
- Precision
- 0,467
- F1 (%95 GA)
- 0,331 [0,297-0,364]
- Yanlış alarm
- 0,131
Küresel PII API'si B
Bulut APIYanlış alarm: 0,427Recall
0,233
Tüm ölçümler
- Recall
- 0,233
- Precision
- 0,237
- F1 (%95 GA)
- 0,235 [0,198-0,268]
- Yanlış alarm
- 0,427
Açık kaynak araç C
Kurum içiYanlış alarm: 0,981Recall
0,199
Tüm ölçümler
- Recall
- 0,199
- Precision
- 0,087
- F1 (%95 GA)
- 0,121 [0,097-0,145]
- Yanlış alarm
- 0,981
Açık kaynak araç B
Kurum içiYanlış alarm: 0,393Recall
0,186
Tüm ölçümler
- Recall
- 0,186
- Precision
- 0,446
- F1 (%95 GA)
- 0,262 [0,217-0,310]
- Yanlış alarm
- 0,393
Açık ağırlık Türkçe üretken model
Kurum içiYanlış alarm: 0,330Recall
0,123
Tüm ölçümler
- Recall
- 0,123
- Precision
- 0,390
- F1 (%95 GA)
- 0,187 [0,149-0,229]
- Yanlış alarm
- 0,330
Açık ağırlık filtre
Kurum içiYanlış alarm: 0,184Recall
0,093
Tüm ölçümler
- Recall
- 0,093
- Precision
- 0,478
- F1 (%95 GA)
- 0,155 [0,107-0,204]
- Yanlış alarm
- 0,184
Diğer sütunları görmek için tabloyu yatay kaydırın.
| Sistem | Kurum içi | Recall | Precision | F1 (%95 GA) | Yanlış alarm |
|---|---|---|---|---|---|
| Gurubase Siper | Evet | 0,881 | 0,558 | 0,683 [0,657-0,707] | 0,084 |
| Bulut LLM A | Hayır | 0,722 | 0,614 | 0,663 [0,637-0,689] | 0,121 |
| Bulut LLM B | Hayır | 0,544 | 0,601 | 0,571 [0,532-0,605] | 0,019 |
| Küresel PII API'si A | Hayır | 0,525 | 0,624 | 0,570 [0,537-0,600] | 0,486 |
| Açık model LLM | Evet | 0,502 | 0,572 | 0,535 [0,503-0,566] | ölçülmedi |
| Açık kaynak araç D | Evet | 0,349 | 0,744 | 0,475 [0,432-0,517] | 0,022 |
| Küresel bulut sağlayıcı A | Hayır | 0,276 | 0,888 | 0,421 [0,363-0,472] | 0,034 |
| Açık kaynak araç A (iyi yapılandırma) | Evet | 0,415 | 0,365 | 0,389 [0,356-0,420] | 0,816 |
| Açık ağırlık Türkçe model | Evet | 0,256 | 0,467 | 0,331 [0,297-0,364] | 0,131 |
| Küresel bulut sağlayıcı B | Hayır | 0,259 | 0,422 | 0,321 [0,275-0,363] | 0,402 |
| Açık kaynak araç B | Evet | 0,186 | 0,446 | 0,262 [0,217-0,310] | 0,393 |
| Açık kaynak araç A (hazır profil) | Evet | 0,269 | 0,245 | 0,256 [0,225-0,285] | 0,863 |
| Küresel PII API'si B | Hayır | 0,233 | 0,237 | 0,235 [0,198-0,268] | 0,427 |
| Açık ağırlık Türkçe üretken model | Evet | 0,123 | 0,390 | 0,187 [0,149-0,229] | 0,330 |
| Açık ağırlık filtre | Evet | 0,093 | 0,478 | 0,155 [0,107-0,204] | 0,184 |
| Açık kaynak araç C | Evet | 0,199 | 0,087 | 0,121 [0,097-0,145] | 0,981 |
Yanlış alarm: kişisel veri içermeyen 349 gerçek belgede en az bir gereksiz maske üretilen belge oranı. Yanlış alarm oranı, yakalama oranıyla (recall) birlikte değerlendirilmelidir. Çok az tespit üreten bir sistemin yanlış alarmı düşük görünebilir; ancak gerçek kişisel verilerin önemli bölümünü kaçırıyor olabilir.
Not: Küresel bulut sağlayıcı C, kendi resmi dokümantasyonuna göre Türkçe PII tespiti desteklememektedir.
Yapılan 135 eşleştirilmiş karşılaştırmanın (15 alternatif x 9 ortak sınıf: kişi adı, adres ve yedi m.6 kategorisi) 118 tanesinde istatistiksel olarak anlamlı fark Siper lehineydi. Kalan 17 karşılaştırmada anlamlı fark gözlenmedi; hiçbir karşılaştırmada anlamlı bir rakip üstünlüğü ölçülmedi.