İki motor, tek denetim

Deneyimli iki incelemeciye aynı pull request'i okutun, iki farklı liste alırsınız. Biri URL'deki kimliğin oturumla hiç karşılaştırılmadığını görür; diğeri yeniden deneme döngüsünün her hatada bir veritabanı bağlantısını açık bıraktığını fark eder. İkisi de yanlış değildir, ikisi de eksiksiz değildir. Dil modelleri de aynı nedenle aynı şekilde davranır: bir incelemecinin ne fark ettiği, daha önce ne gördüğüne bağlıdır.

Mutabakat bir sinyaldir

Tek bir model size ne kadar emin olduğunu söyler. Bu sayının değeri vardır ama kendi beyanıdır: model kendi ödevini not vermektedir. Farklı laboratuvarlarda, farklı verilerle, farklı zayıflıklarla eğitilmiş iki model aynı dosyadaki aynı zafiyete birbirinden bağımsız olarak ulaştığında, bu mutabakat modelin dışından gelen bir kanıttır. Otomatik bir incelemenin ikinci görüşe en çok yaklaştığı yer burasıdır.

Tersi de en az o kadar önemlidir. Yalnızca bir motorun bildirdiği bulgu kendiliğinden yanlış değildir; onu elemek, tek bir incelemecinin yakalamakta iyi olduğu hataları çöpe atmak olur. Bu bulgu da raporlanmalı ve kaynağı belirtilmelidir ki tartıyı siz yapabilesiniz.

Tek motorun sustuğu yerler

Pratikte iki motor, örüntü eşleştirmek yerine muhakeme gerektiren hata sınıflarında birbirinden en çok ayrılıyor:

• Mantık hataları: iki kez uygulanan indirim, iadeden sonra iadeyi kabul eden durum makinesi, yanlış nesne üzerinde çalışan sahiplik kontrolü.
• Çerçeveye özgü yetkilendirme: bir rota grubunu koruyan ama yanına monte edilmiş API işleyicisini korumayan ara katman.
• Kaynak ve bellek sızıntıları: her istekte açılıp yalnızca mutlu yolda serbest bırakılan dinleyiciler, zamanlayıcılar ve bağlantılar.
• Yorum satırlarına ya da test verilerine gizlenmiş prompt enjeksiyonu; incelemeci aramadığı sürece zararsız bir metin gibi okunur.

İki rapor nasıl tek rapor olur

Birleştirme, ikinci motorun kendini ödediği ya da gürültünüzü ikiye katladığı yerdir. Karar verdiğimiz kurallar:

• Bulgular ifadeye göre değil, hatayı tanımlayan şeye göre eşleşir: CWE sınıfı ve bulunduğu dosya.
• Eşleşen bulgu tek kez raporlanır ve iki önem derecesinin sert olanıyla verilir; harekete geçmeye değer okuma güvenli olandır.
• Tutulan metin, geliştiricinin kullanabileceği olandır: daha uzun kanıt, somut yama, sıralı düzeltme adımları.
• Doğrulanan bulgunun güven düzeyi yükseğe çekilir ve her iki motorla etiketlenir.
• Yalnızca bir motorun gördüğü bulgu da korunur, onu bulan motorun adıyla işaretlenir.

İki motor aynı kaynağı aynı anda okur; bu yüzden denetim iki kat uzun sürmez, yalnızca iki kat pahalıya çalışır — Pro planda olmasının nedeni budur. İkinci motor kullanılamıyorsa veya kullanılamaz bir yanıt döndürürse denetim başarısız olmaz, ilk motorla tamamlanır.

Bunların hiçbiri raporu doğru yapmaz. İki motor aynı fikirde olup ikisi de yanılabilir; her bulgunun altındaki alıntılanmış kanıt tam da güvenmek yerine kontrol edebilmeniz için orada. Çapraz doğrulamanın size kazandırdığı şey bir sıralamadır: yüz bulgu geldiğinde ve elinizde bir öğleden sonra varsa, iki bağımsız incelemecinin birlikte gördükleriyle başlayın.