Audit de crawl Screaming Frog

Screaming Frog est bien plus qu’un simple crawler : c’est une véritable boîte à outils pour les professionnels du référencement naturel. En explorant les pages d’un site web, il en extrait une mine d’informations techniques et sémantiques, permettant de détecter les erreurs, d’optimiser le contenu et d’améliorer les performances SEO.

Dans ce guide complet, nous allons voir comment installer, configurer et exploiter Screaming Frog pour réaliser un audit SEO approfondi, mais aussi comment tirer parti de ses fonctionnalités avancées souvent méconnues.

Installation et premiers pas du crawler

L’installation de Screaming Frog SEO Spider est simple et rapide. Une installation correcte garantit des crawls rapides, fiables et exploitables. Le logiciel est disponible pour Windows, macOS et Linux.

Sur Windows, l’installeur vous guidera pas à pas.
Sur macOS, il suffit de glisser le fichier dans le dossier “Applications”.
Sur Linux, vous pouvez exécuter le fichier .deb ou utiliser la commande suivante dans le terminal : sudo dpkg -i screamingfrogseospider_X.X_all.deb

Une fois téléchargé (https://www.screamingfrog.co.uk/seo-spider/), suivez les instructions à l’écran et acceptez les conditions d’utilisation.

Au premier lancement, Screaming Frog ouvre une fenêtre d’accueil sobre avec un champ principal :
« Enter URL to spider » — c’est ici que vous saisirez l’adresse du site à crawler.

Si vous utilisez la version gratuite, l’outil vous indiquera la limite de 500 URL par projet.
C’est largement suffisant pour un petit site vitrine ou un test rapide.

La version payante, quant à elle, débloque toutes les fonctionnalités :

Crawls illimités
Export complet des données
Intégrations API (Google Analytics, Search Console, Ahrefs…)
Programmation automatique
Mode base de données

Paramétrer les réglages de base

Avant de lancer votre premier crawl, prenez le temps de configurer correctement le logiciel.
Un paramétrage précis garantit des données cohérentes et évite de gaspiller du temps sur des analyses incomplètes.

Accédez au menu Configuration > Spider pour ajuster les options selon vos besoins :

Crawl des ressources externes : activez ou non l’exploration des fichiers CSS, JavaScript, images et PDF.
Respect du robots.txt : choisissez si le crawler doit suivre les restrictions du fichier robots.txt du site.
Follow internal/external links : définissez si Screaming Frog doit suivre uniquement les liens internes ou aussi les liens externes.
User-Agent : personnalisez le robot utilisé (par défaut : “Screaming Frog SEO Spider”, mais vous pouvez choisir “Googlebot” pour simuler le comportement du moteur).
Vitesse du crawl : ajustez le nombre de threads pour éviter de surcharger le serveur cible.

Ces réglages initiaux vous permettent de contrôler la profondeur du crawl et d’adapter le comportement du robot à vos objectifs :

Audit technique complet du site ? Activez toutes les ressources.
Vérification des balises meta uniquement ? Désactivez les fichiers lourds (JS, images…).

Choisir le mode de stockage adapté du crawl

Le mode de stockage de Screaming Frog détermine la manière dont le logiciel enregistre et traite les données collectées pendant un crawl.
Un bon choix de configuration influence directement la vitesse d’analyse, la stabilité du logiciel et la capacité à gérer de gros volumes d’URL.

Screaming Frog propose deux modes de stockage des données, il peut stocker les données soit dans la mémoire vive (RAM), soit dans une base de données locale.
Le choix dépend du volume de votre site et des performances de votre machine. :

Memory Storage : les données sont enregistrées en RAM, pour une vitesse de crawl élevée. Idéal pour les petits sites.
Database Storage : les informations sont stockées sur le disque dur (SSD recommandé). Ce mode est parfait pour les gros sites ou les crawls réguliers, et permet de reprendre un projet sans tout relancer.

Astuce : vous pouvez ajuster la mémoire allouée dans Configuration > System > Memory Allocation, mais ne dépassez pas 50 % de votre RAM totale pour éviter de ralentir votre système. En mode base de données, vos crawls sont sauvegardés automatiquement et peuvent être repris plus tard, même en cas de plantage ou d’arrêt du logiciel.

Le mode « Memory Storage » : la rapidité avant tout

Le Memory Storage est le mode activé par défaut lors de la première installation de Screaming Frog.
Dans cette configuration, l’outil charge l’ensemble des données de crawl directement dans la mémoire vive (RAM) de votre ordinateur.

Avantages :

Vitesse de traitement élevée : le logiciel travaille directement en RAM, sans lecture/écriture sur le disque.
Idéal pour les petits et moyens sites : rapide et fluide jusqu’à quelques dizaines de milliers d’URL.
Analyse instantanée : la navigation entre les onglets et filtres reste très réactive.

Limites :

Capacité limitée : la quantité de RAM détermine la taille maximale du site que vous pouvez crawler.
Risque de saturation : au-delà de 1 à 2 Go de mémoire allouée, les performances peuvent chuter.
Perte de données en cas de crash : si l’application ou le système plante, le crawl en cours est perdu.

Il est recommandé de ne pas dépasser 50 % de la RAM totale de votre machine pour laisser de la marge au système d’exploitation et éviter les blocages

Le mode « Database Storage » : la fiabilité et la puissance

Le Database Storage est le mode recommandé pour les gros sites (plus de 100 000 URL) ou les crawls fréquents.
Dans cette configuration, Screaming Frog enregistre toutes les données du crawl directement sur votre disque dur, dans une base locale.

Avantages :

Aucune limite pratique d’URL : le volume dépend uniquement de la capacité de votre disque dur.
Sauvegarde automatique : chaque crawl est enregistré en temps réel dans une base de données locale.
Reprise possible : en cas de coupure, vous pouvez rouvrir un projet sans relancer un nouveau crawl.
Organisation par projet : les crawls sont classés dans un menu dédié (« File > Crawls »), ce qui facilite le suivi des analyses.

Limites :

Légèrement plus lent que le mode mémoire, car l’écriture sur disque prend un peu plus de temps.
Utilise plus d’espace disque, notamment pour les sites volumineux.
Incompatible avec les anciennes versions du logiciel (les bases créées sur une version ne sont pas toujours lisibles sur une autre).

Privilégiez un disque SSD plutôt qu’un disque dur classique.
Le SSD offre des temps d’accès beaucoup plus rapides, rendant le mode base de données presque aussi performant que le mode mémoire.

Critère	Memory Storage	Database Storage
Vitesse d’exécution	Très rapide	Moyenne
Taille du site	Petite / moyenne (< 50 000 URL)	Grande (> 50 000 URL)
Volume de données	Limité par la RAM	Limité par le disque dur
Stabilité	Moyenne	Excellente
Reprise de crawl	❌ Impossible	✅ Possible
Enregistrement automatique	❌ Non	✅ Oui
Utilisation recommandée	Tests rapides, petits sites	Audits complets, gros sites, analyses récurrentes

Créer un profil de configuration Screaming frog

Pour éviter de reconfigurer l’outil à chaque projet, Screaming Frog permet d’enregistrer vos réglages sous forme de profils personnalisés.
Utile si vous gérez plusieurs clients ou plusieurs types de sites (e-commerce, média, institutionnel…).

Menu : File > Configuration > Save As
Donnez un nom explicite à votre profil (ex. « Audit e-commerce – full crawl »).

Lors d’un nouveau projet, vous pouvez charger instantanément ce profil et démarrer votre crawl avec les bons paramètres.

Configurer le comportement du crawler

Une fois Screaming Frog installé et votre mode de stockage choisi, l’étape suivante consiste à configurer le comportement du crawler.
Ce paramétrage détermine comment Screaming Frog explore votre site, quelles ressources il analyse, et quelles règles il suit ou ignore.

Cette configuration est essentielle pour obtenir des audits SEO précis et adaptés à votre objectif : audit technique, vérification du maillage interne, analyse des balises meta, contrôle du contenu dupliqué, etc.

Définir le User-Agent

Le User-Agent est la carte d’identité du robot qui explore votre site. Il indique au serveur qui effectue la requête (Googlebot, Bingbot, navigateur, etc.).
Par défaut, Screaming Frog se présente sous son propre nom : “Screaming Frog SEO Spider”.
Cependant, certains serveurs peuvent bloquer ou restreindre ce user-agent, ce qui empêche le crawl d’aller au bout.

Avant de lancer un crawl, définissez l’identité du robot.
Par défaut, Screaming Frog utilise son propre user-agent, mais il est recommandé de le modifier pour imiter Googlebot, surtout si votre site affiche un contenu différent sur desktop et mobile.

Menu : Configuration > User-Agent
Choisissez « Googlebot Smartphone » pour simuler le rendu mobile-first utilisé par Google.

Astuce : Modifier l’user-agent pour un user agent plus humain ou mobile Google. Certains sites bloquent l’accès aux robots et souvent le user-agent ScreamingFrog est dans les accès restreints.

Gérer le rendu JavaScript

De plus en plus de sites utilisent des frameworks JavaScript (React, Angular, Vue.js, etc.) pour afficher le contenu.
Or, un crawler classique ne “voit” pas toujours les éléments chargés dynamiquement après le rendu JS.

Screaming Frog peut générer un « rendu JavaScript » afin de visualiser le contenu réellement accessible aux moteurs de recherche.

Menu : Configuration > Spider > Rendering
Sélectionnez « JavaScript » pour activer le rendu, ou « Text Only » pour un crawl classique.

Attention : le rendu JS est gourmand en ressources. Utilisez-le uniquement si votre site charge du contenu dynamiquement.

Régler la vitesse du crawl

Le rythme d’exploration du crawler influence directement la charge imposée au serveur et la rapidité du crawl. La vitesse du crawler dépend du nombre de threads utilisés.
Par défaut, Screaming Frog envoie 5 requêtes simultanées (équivalent à 5 onglets ouverts dans un navigateur).
Mais ce paramètre doit être adapté selon la taille du site et la capacité de l’hébergement.
Pour éviter de surcharger un serveur (surtout si le site cible est sur un hébergement lowcost ou à fort trafic, etc) réduisez la vitesse ou planifiez votre crawl sur des heures creuses.

Menu : Configuration > Speed
Ajustez le nombre de threads et la limite d’URL par seconde. Vous pourrez augmenter la limite si vous crawlez lors d’une plage horaire creuse (ex. 2h – 5h du matin) afin d’éviter toute surcharge.

Lancer un audit SEO complet

Une fois votre configuration prête, vient l’étape cruciale : le lancement du crawl et l’interprétation des résultats.
Screaming Frog agit ici comme un véritable scanner de votre site, inspectant chaque page, chaque ressource et chaque lien afin de détecter les anomalies pouvant freiner votre référencement naturel.

Démarrer le crawl

Entrez simplement l’URL de votre site et cliquez sur Start.

Pendant le crawl, Screaming Frog analyse chaque page atteinte et collecte les données :

Les codes HTTP (200, 301, 404, etc.)
Les titres de pages et balises meta
Les balises H1/H2
Les attributs ALT des images
Les liens internes et externes
Le poids et le temps de chargement des pages
Le balisage canonique
Le contenu dupliqué éventuel
Les directives d’indexation (robots.txt, noindex, canonical…)

Chaque donnée est classée par onglet dans l’interface principale. L’un des atouts majeurs de Screaming Frog réside dans la granularité de ses rapports.
Voici les onglets essentiels à connaître :

Onglet	Fonction principale
Internal	Liste l’ensemble des URL internes crawlées, leur type, leur statut et leurs liens entrants/sortants.
External	Regroupe les liens externes détectés dans le site.
Response Codes	Indique les codes HTTP : 200 (OK), 301 (redirection), 404 (non trouvée), 500 (erreur serveur), etc.
Page Titles	Affiche les balises `<title>` de chaque page et leur longueur.
Meta Description	Détaille les balises meta description.
H1 / H2	Permet de contrôler la présence, la hiérarchie et la pertinence des titres principaux.
Images	Liste les images du site, leur taille, leur texte alternatif (ALT) et leur statut.
Canonical	Indique les balises `<link rel="canonical">` définies sur chaque page.
Directives	Montre les balises meta robots et les en-têtes HTTP d’indexation.
Content	Permet de repérer les contenus identiques ou très similaires.

Chaque onglet est filtrable et exportable, ce qui facilite l’analyse thématique ou prioritaire. Les résultats peuvent ensuite être exportés en CSV, XLS ou PDF pour une analyse plus fine.

Identifier et corriger les erreurs techniques

Liens cassés (404) ou redirections multiples : à corriger pour améliorer l’expérience utilisateur.
Balises title et meta descriptions trop longues, manquantes ou dupliquées : à optimiser pour renforcer le CTR.
Balises H1/H2 incohérentes : à vérifier pour assurer une hiérarchie claire.
Contenu dupliqué : à traiter via la canonicalisation ou la réécriture.

Optimiser les images et attributs ALT

Les images trop lourdes ou sans texte alternatif nuisent à l’accessibilité et au SEO.
L’onglet Images vous permet de repérer celles à optimiser (nom, taille, balise ALT manquante).

Exploiter les fonctionnalités avancées

Screaming Frog ne se limite pas à un simple crawler. C’est un outil d’analyse SEO d’une richesse exceptionnelle, capable d’extraire des données sur mesure, de se connecter à vos outils marketing, d’automatiser des tâches répétitives et même d’identifier des zones d’optimisation souvent invisibles dans d’autres solutions.

Quelques fonctionnalités puissantes encore peu souvent utilisés malgré l’ancienneté du tool :

Extraire des données personnalisées (Custom Extraction)

L’une des fonctionnalités les plus utiles et sous-exploitées de Screaming Frog est la Custom Extraction.
Elle permet de récupérer des éléments précis au sein du code HTML d’une page grâce à des sélecteurs CSS, des expressions XPath ou des expressions régulières (Regex).

Dans Configuration > Custom > Extraction, vous pouvez récupérer des informations précises sur vos pages grâce à :

Des sélecteurs CSS (exemple : .meta-author)
Des expressions régulières (Regex)
Ou du XPath (exemple : //meta[@property=’article:published_time’]/@content)

Autres exemples des possibilités d’utilisation :

Extraire le nombre d’avis produits
Récupérer les données structurées (schema.org) d’un site pour vérifier leur cohérence.
Extraire les dates de publication et noms d’auteurs sur un blog.
Vérifier la présence d’un code de suivi Google Analytics ou d’un tag GTM.
Identifier les pages avec un certain type de contenu (produit, article, landing page).
Contrôler la présence d’un fil d’Ariane, d’un bouton CTA, ou d’un balisage spécifique.

Cette fonction est un atout majeur pour analyser le contenu on-page et détecter les incohérences à grande échelle.

Intégrer Screaming Frog avec des APIs externes

Screaming Frog devient encore plus puissant lorsqu’il est connecté à des outils SEO et marketing.
Les intégrations API permettent d’enrichir les audits avec des données de performance.

Menu : Configuration > API Access

Différentes outils/api compatibles (à l’heure actuelle) :

Google Analytics : sessions, taux de rebond, durée moyenne, conversions.
Google Search Console : impressions, clics, position moyenne, CTR.
Ahrefs / Majestic / Moz : données de backlinks et Domain Authority.
PageSpeed Insights API : indicateurs Core Web Vitals (LCP, FID, CLS).

Une fois connecté, Screaming Frog associe les métriques à chaque URL crawlée permettant ainsi un croisement de données. Réellement utile si vous avez accès au préalable à ces outils afin d’apporter une information que le crawler ne peut avoir.

Analyser l’emplacement des liens internes

Grâce à la fonctionnalité Link Position (Configuration > Custom > Link Position), vous pouvez savoir si un lien est situé dans le menu, le footer ou le contenu principal d’une page.
Cela aide à identifier les pages mal maillées ou trop éloignées dans l’arborescence.

Intégrer les API externes

Connectez Screaming Frog à vos outils SEO pour enrichir vos analyses :

Google Analytics : sessions, taux de rebond, durée moyenne.
Google Search Console : impressions, clics, position moyenne.
Ahrefs / Majestic : backlinks et métriques de popularité.

Menu : Configuration > API Access
Connectez-vous à votre compte et associez les données aux URL crawlées.

Programmer vos crawls

Besoin de lancer un crawl automatiquement chaque semaine ? Utilisez la fonction Scheduling (File > Scheduling) pour planifier vos analyses selon une fréquence donnée :

à une date précise,
selon une fréquence (quotidienne, hebdomadaire, mensuelle),
et même générer automatiquement des exports ou sitemaps XML à la fin du crawl
Les rapports peuvent être générés et exportés automatiquement.

Le mode CLI (Command Line Interface) permet même d’exécuter Screaming Frog sans interface graphique, idéal sur un serveur.

L’automatisation du crawl avec le tool permet de :

suivre l’évolution d’un site dans le temps,
détecter automatiquement les nouvelles erreurs (404, redirections, noindex),
et générer des rapports périodiques sans intervention manuelle.

Simuler et réécrire des URLs (URL Rewriting)

Le module URL Rewriting est extrêmement utile pour les sites en refonte, en préproduction ou en migration. L’outil propose un module de URL Rewriting permettant de :

Supprimer des paramètres d’URL inutiles,
Transformer les liens HTTP en HTTPS,
Ignorer les fragments (#) inutiles.

Menu : Configuration > URL Rewriting > Regexp Replace

Une fonctionnalité précieuse pour prototyper une migration ou anticiper les redirections.

Respect du robots.txt et des balises meta

Vous pouvez choisir de respecter ou non les directives du robots.txt et les balises noindex ou canonical.
Cela permet de tester différents scénarios et d’identifier des URL orphelines ou des problèmes de maillage interne.

Où le paramétrer ?

Menu : Configuration > Robots.txt

Sauvegarder vos configurations

Les réglages de crawl pouvant être complexes, pensez à sauvegarder vos configurations.
Cela vous fera gagner du temps si vous gérez plusieurs projets.

Menu : File > Configuration > Save As

Exploiter les données et créer un rapport SEO

Une fois le crawl terminé, exportez vos données pour construire un rapport SEO personnalisé :

Liste des erreurs techniques (404, 301, redirections en chaîne)
Optimisation des balises meta et titres
Analyse des liens internes et externes
Comparaison avant/après des optimisations
Détection du contenu dupliqué

Les exports Screaming Frog sont compatibles avec Excel, Google Sheets ou Data Studio, ce qui facilite le reporting automatisé. Mais vous pourriez également privilégier ces différentes possibilités pour un lecture/analyse plus complète à terme :

Connectez vos exports à Google Sheets via un script automatisé.
Alimentez un dashboard Looker Studio (ex-Data Studio) avec vos métriques.
Combinez Screaming Frog avec BigQuery pour un suivi de performance à grande échelle.

Screaming Frog est un indispensable du SEO technique, à la fois robuste et flexible.
Il permet d’auditer un site en profondeur, d’analyser les performances, d’optimiser le contenu et de suivre l’évolution de vos actions dans le temps.

Que vous soyez consultant SEO, développeur ou propriétaire de site, maîtriser Screaming Frog, c’est maîtriser la santé technique de votre site web.

FAQ

Qu’est-ce que Screaming Frog ?
C’est un logiciel de crawl SEO qui analyse les sites web pour détecter les erreurs techniques, les problèmes de contenu et les opportunités d’optimisation.

Screaming Frog est-il adapté aux débutants ?
Oui. L’interface est intuitive et de nombreux tutoriels sont disponibles. La version gratuite est idéale pour apprendre avant de passer à la version payante.

Quelle différence entre la version gratuite et payante ?
La version gratuite est limitée à 500 URL et n’inclut pas les intégrations API. La version payante offre un crawl illimité, les connecteurs externes et les fonctions d’automatisation.