Crawl-Budget
Die Menge an Seiten, die eine Suchmaschine in einem Zeitraum auf einer Domain abruft. Google selbst nennt es für die meisten Websites irrelevant — relevant wird es ab etwa zehntausenden URLs oder bei …
Was bedeutet Crawl-Budget?
Die Menge an Seiten, die eine Suchmaschine in einem Zeitraum auf einer Domain abruft. Google selbst nennt es für die meisten Websites irrelevant — relevant wird es ab etwa zehntausenden URLs oder bei häufigen Änderungen. Praktische Folge: Jede deklarierte URL ohne eigenen Wert (Filtervarianten, Paginierungsketten, 404er in der Sitemap) verbraucht Budget, das den tragenden Seiten fehlt.
Verwandte Begriffe
XML-Sitemap
Eine maschinenlesbare Liste der URLs, die eine Website zum Crawlen vorschlägt. Harte Grenzen des Protokolls: 50.000 URLs und 50 MB unkomprimiert pro DATEI — darüber schneidet Google ab. Größere Bestände werden über einen Sitemap-Index auf mehrere Dateien verteilt. Eine Sitemap ist eine Bitte um Crawling, keine Garantie für Indexierung, und das Eintragen einer URL kostet Crawl-Budget.
Mehr erfahrenIndexierung
Die Aufnahme einer gecrawlten Seite in Googles Index. Crawlen, Rendern und Indexieren sind drei getrennte Schritte: Eine Seite kann abgerufen und trotzdem nicht aufgenommen werden ('Gecrawlt – zurzeit nicht indexiert'), typischerweise bei dünnem oder weitgehend identischem Inhalt. Der Status ist in der Google Search Console pro URL einsehbar.
Mehr erfahrenrobots.txt
Eine Datei im Wurzelverzeichnis, die Crawlern mitteilt, welche Pfade sie nicht abrufen sollen. 🚨 Ein Disallow verhindert das CRAWLEN, nicht das Indexieren: eine gesperrte URL kann weiterhin in den Suchergebnissen erscheinen — nur ohne Inhalt, weil Google sie nie lesen durfte. Wer eine Seite aus dem Index halten will, braucht noindex auf einer Seite, die crawlbar ist. Beides gleichzeitig hebt sich gegenseitig auf.
Mehr erfahren
Fragen zu Crawl-Budget?
Kontaktieren Sie uns — wir erklären Ihnen gerne jeden Fachbegriff und zeigen, wie moderne Softwareentwicklung Ihr Unternehmen voranbringt.