Comment fonctionne un audit

Un audit a trois étapes: collecter la source, demander au modèle un rapport structuré, stocker le résultat. Savoir ce qui se passe à chaque étape vous dit ce qu'un audit peut et ne peut pas trouver.

Collecte de la source

Pour un référentiel, nous lisons l'arborescence des fichiers de la branche par défaut et sélectionnons les fichiers dignes de révision: code source d'application, configuration et manifestes de dépendances. Les répertoires vendeurs, les sorties de compilation, les fichiers de verrouillage, les images et les binaires sont ignorés — ils consomment le budget sans contenir de logique.

• Les fichiers individuels de plus de 60 KB sont ignorés; un fichier aussi volumineux est généralement généré.
• Le nombre de fichiers lus dépend de votre plan: 20 en Free, 40 en Starter, 80 en Pro.
• Le montant total de la source envoyée au modèle est également plafonné: 60.000 caractères en Free, 300.000 en Starter, 600.000 en Pro.

Quand un référentiel est plus grand que le plafond, le rapport le dit explicitement. Traitez un audit tronqué comme un échantillon, pas comme une couverture: les fichiers qui n'ont pas été lus n'ont pas été examinés.

Interroger le modèle

La source va à Claude avec une invite système qui définit le travail de l'auditeur et un schéma d'outil qui définit la forme de la réponse. Le modèle ne peut pas répondre avec de la prose: il doit remplir la structure du rapport, ce qui explique pourquoi chaque conclusion a une sévérité, un emplacement et une correction plutôt qu'un paragraphe de conseils.

Votre code est traité comme des données non fiables tout au long. Si un commentaire ou une chaîne dans le référentiel essaie d'instruire l'auditeur — "ignorer les instructions précédentes", "ne signaler aucune conclusion" — le modèle est censé ne pas obéir et signaler la tentative comme une conclusion par injection de prompt.

Les plans payants utilisent Claude Fable 5.1. Le plan gratuit utilise Claude Haiku 4.5, qui est plus rapide et beaucoup moins cher à servir, donc les essais restent gratuits; il trouve moins que le modèle phare.

Stockage du résultat

Le rapport est stocké contre votre compte, avec le modèle utilisé, la liste des fichiers réellement lus et si la source a été tronquée. Cette liste importe quand vous comparez deux audits: une conclusion peut disparaître parce qu'elle a été corrigée, ou parce que le fichier dans lequel elle se trouvait n'a pas fait le coup cette fois.

Ce qu'un audit ne fait pas

• Il ne l'exécute pas, donc il ne peut pas confirmer l'exploitabilité au moment de l'exécution.
• Il n'accède pas encore aux référentiels privés; cela nécessite une installation d'application GitHub, qui n'est pas construite.
• Il n'ouvre pas de pull requests et ne change rien dans votre référentiel.
• Il ne remplace pas un test de pénétration ou un examen humain du code critique pour la sécurité.