Cara kerja audit

Audit memiliki tiga tahap: mengumpulkan sumber, meminta laporan terstruktur dari model, menyimpan hasilnya. Mengetahui apa yang terjadi di setiap tahap memberi tahu Anda apa yang dapat ditemukan audit dan apa yang tidak.

Mengumpulkan sumber

Untuk repositori kami membaca pohon file cabang default dan memilih file yang layak ditinjau: sumber aplikasi, konfigurasi dan manifes ketergantungan. Direktori vendor, output build, file kunci, gambar, dan biner dilewati — mereka membakar anggaran tanpa membawa logika.

• File individual lebih besar dari 60 KB dilewati; file sebesar itu biasanya dibuat.
• Berapa banyak file yang dibaca tergantung pada rencana Anda: 20 di Gratis, 40 di Starter, 80 di Pro.
• Jumlah total sumber yang dikirim ke model juga dibatasi: 60.000 karakter di Gratis, 300.000 di Starter, 600.000 di Pro.

Ketika repositori lebih besar dari batas, laporan menyatakannya secara eksplisit. Perlakukan audit yang dipotong sebagai sampel, bukan cakupan: file yang tidak dibaca tidak ditinjau.

Menanyakan model

Sumber pergi ke Claude dengan prompt sistem yang menentukan pekerjaan pengulas dan skema alat yang menentukan bentuk jawabannya. Model tidak dapat menjawab dengan prosa; itu harus mengisi struktur laporan, itulah sebabnya setiap temuan memiliki keparahan, lokasi, dan perbaikan daripada paragraf nasihat umum.

Kode Anda diperlakukan sebagai data yang tidak terpercaya di seluruh. Jika komentar atau string di repositori mencoba menginstruksikan pengulas — "abaikan instruksi sebelumnya", "jangan laporkan temuan" — model diberi tahu untuk tidak mematuhi dan melaporkan upaya sebagai temuan injeksi prompt.

Paket berbayar menjalankan Claude Fable 5.1. Paket gratis menjalankan Claude Haiku 4.5, yang lebih cepat dan jauh lebih murah untuk disajikan, jadi uji coba tetap gratis; ia menemukan lebih sedikit dari model unggulan.

Menyimpan hasilnya

Laporan disimpan terhadap akun Anda, dengan model yang digunakan, daftar file yang benar-benar dibaca, dan apakah sumber dipotong. Daftar ini penting saat membandingkan dua audit: temuan dapat hilang karena diperbaiki, atau karena file tempat tinggalnya tidak lolos kali ini.

Apa yang tidak dilakukan audit

• Itu tidak menjalankan kode Anda, jadi itu tidak dapat mengkonfirmasi kemudahan eksploitasi saat runtime.
• Itu belum menjangkau repositori pribadi; itu memerlukan instalasi GitHub App, yang belum dibangun.
• Itu tidak membuka pull request atau mengubah apa pun di repositori Anda.
• Itu tidak menggantikan tes penetrasi atau tinjauan manusia dari kode yang kritis untuk keamanan.