robots.txt
Eine Datei im Wurzelverzeichnis, die Crawlern mitteilt, welche Pfade sie nicht abrufen sollen. 🚨 Ein Disallow verhindert das CRAWLEN, nicht das Indexieren: eine gesperrte URL kann weiterhin in den Su…
Was bedeutet robots.txt?
Eine Datei im Wurzelverzeichnis, die Crawlern mitteilt, welche Pfade sie nicht abrufen sollen. 🚨 Ein Disallow verhindert das CRAWLEN, nicht das Indexieren: eine gesperrte URL kann weiterhin in den Suchergebnissen erscheinen — nur ohne Inhalt, weil Google sie nie lesen durfte. Wer eine Seite aus dem Index halten will, braucht noindex auf einer Seite, die crawlbar ist. Beides gleichzeitig hebt sich gegenseitig auf.
Verwandte Begriffe
noindex
Eine Anweisung im Robots-Meta-Tag oder im X-Robots-Tag-Header, eine Seite nicht in den Index aufzunehmen. Anders als robots.txt ist sie eine echte Anweisung und wird befolgt. Bedingung: Die Seite muss crawlbar sein, sonst wird die Anweisung nie gelesen. Sinnvoll für Danke-Seiten, Filterkombinationen und dünne Varianten — nicht als Mittel, eine Seite zu 'reparieren', die eigentlich Inhalt bräuchte.
Mehr erfahrenIndexierung
Die Aufnahme einer gecrawlten Seite in Googles Index. Crawlen, Rendern und Indexieren sind drei getrennte Schritte: Eine Seite kann abgerufen und trotzdem nicht aufgenommen werden ('Gecrawlt – zurzeit nicht indexiert'), typischerweise bei dünnem oder weitgehend identischem Inhalt. Der Status ist in der Google Search Console pro URL einsehbar.
Mehr erfahrenCrawl-Budget
Die Menge an Seiten, die eine Suchmaschine in einem Zeitraum auf einer Domain abruft. Google selbst nennt es für die meisten Websites irrelevant — relevant wird es ab etwa zehntausenden URLs oder bei häufigen Änderungen. Praktische Folge: Jede deklarierte URL ohne eigenen Wert (Filtervarianten, Paginierungsketten, 404er in der Sitemap) verbraucht Budget, das den tragenden Seiten fehlt.
Mehr erfahren
Fragen zu robots.txt?
Kontaktieren Sie uns — wir erklären Ihnen gerne jeden Fachbegriff und zeigen, wie moderne Softwareentwicklung Ihr Unternehmen voranbringt.