Zwei kleine Dateien steuern, wie Suchmaschinen deine Website erkunden: Die XML-Sitemap ist eine Liste der Seiten, die gefunden werden sollen. Die robots.txt sagt Suchmaschinen-Crawlern (Programmen, die Websites automatisch abrufen), welche Bereiche sie nicht abrufen sollen. Fehler in einer der beiden Dateien können dazu führen, dass wichtige Seiten bei Google fehlen.
Kurz gesagt
Prüfe, ob deine Sitemap erreichbar ist und nur Seiten enthält, die bei Google erscheinen sollen. Reiche sie in der Google Search Console ein. Achte darauf, dass deine robots.txt keine wichtigen Bereiche sperrt, vor allem nicht mit Disallow: /.
Die XML-Sitemap
Wo du deine Sitemap findest
-
•
WordPress erstellt seit Version 5.5 automatisch eine Sitemap unter deine-domain.de/wp-sitemap.xml.
-
•
Ist ein SEO-Plugin aktiv, ersetzt es diese meist durch eine eigene: Yoast SEO und Rank Math unter /sitemap_index.xml, SEOPress unter /sitemaps.xml. Die genaue Adresse steht in den Plugin-Einstellungen.
Was in die Sitemap gehört
-
•
Alle Seiten, Beiträge, Produkte und Kategorien, die bei Google erscheinen sollen.
-
•
Nicht hinein gehören: weitergeleitete Adressen, Seiten mit noindex, Danke-Seiten, Warenkorb, Testseiten, Anhänge-Seiten von Bildern und leere Schlagwort-Archive.
Schritt für Schritt: Sitemap prüfen und einreichen
-
1
Rufe deine Sitemap-Adresse im Browser auf. Du solltest eine Liste von Teil-Sitemaps oder URLs sehen, keine Fehlermeldung.
-
2
Öffne die Teil-Sitemaps für Seiten und Beiträge und überfliege die Adressen. Tauchen Seiten auf, die nicht bei Google erscheinen sollen, schließe sie in den Plugin-Einstellungen aus oder setze sie auf noindex.
-
3
Öffne die Google Search Console, gehe auf „Sitemaps“, trage die Sitemap-Adresse ein und klicke auf „Senden“.
-
4
Nach einiger Zeit zeigt der Bericht den Status „Erfolgreich“ und die Zahl der gefundenen Seiten.
Sitemap und robots.txt haben unterschiedliche Aufgaben (Schematische Darstellung)
Wann du nichts ändern musst
Eine Sitemap ist keine Garantie, dass Google alle Seiten aufnimmt. Sie hilft beim Finden. Bei einer kleinen, gut verlinkten Website findet Google die Seiten oft auch ohne Sitemap. Einreichen schadet trotzdem nie.
Die robots.txt
Wo du sie findest
Die robots.txt liegt immer im Hauptverzeichnis: deine-domain.de/robots.txt. WordPress erzeugt automatisch eine einfache Version. SEO-Plugins bieten oft einen Editor dafür an.
Eine typische WordPress-robots.txt sieht so aus:
-
•
User-agent: *
-
•
Disallow: /wp-admin/
-
•
Allow: /wp-admin/admin-ajax.php
-
•
Sitemap: https://www.deine-domain.de/sitemap_index.xml
Was du prüfen solltest
-
•
Steht dort Disallow: / unter User-agent: *, sperrst du deine gesamte Website für alle Suchmaschinen. Das passiert oft, wenn eine Testumgebung live geschaltet wurde.
-
•
Sind Ordner gesperrt, die CSS-, JavaScript- oder Bilddateien enthalten, zum Beispiel /wp-content/? Dann kann Google deine Seiten nicht richtig darstellen.
-
•
Steht eine Sitemap:-Zeile mit der richtigen Adresse darin? Sie ist optional, aber hilfreich.
robots.txt verhindert keine Indexierung
Eine Seite, die per robots.txt gesperrt ist, kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Google zeigt dann nur die Adresse ohne Beschreibung. Wenn eine Seite nicht bei Google erscheinen soll, setze sie auf noindex und sperre sie nicht in der robots.txt. Sonst kann Google das noindex gar nicht lesen.
Das Häkchen in den WordPress-Einstellungen
Unter Einstellungen › Lesen gibt es die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“. Sie ist während der Entwicklung oft aktiviert und wird beim Livegang vergessen. Prüfe, dass das Häkchen bei einer fertigen Website nicht gesetzt ist.
Nach dem Relaunch verschwunden (fiktiv)
Eine Tischlerei geht mit ihrer neuen Website online. Zwei Wochen später findet sie sich bei Google nicht mehr. Die Search Console meldet viele Seiten als „Durch robots.txt blockiert“. Ursache: Die Agentur hatte auf der Testumgebung Disallow: / gesetzt, und diese robots.txt wurde mit übernommen. Nach der Korrektur und dem erneuten Einreichen der Sitemap tauchen die Seiten nach und nach wieder auf.
Woran du erkennst, dass alles stimmt
-
•
Die Sitemap ist erreichbar und in der Search Console als „Erfolgreich“ markiert.
-
•
In der Sitemap stehen nur Seiten, die bei Google erscheinen sollen.
-
•
Die robots.txt sperrt keine wichtigen Bereiche.
-
•
Im Bericht „Seiten“ der Search Console tauchen deine wichtigen Seiten unter „Indexiert“ auf und nicht unter „Durch robots.txt blockiert“.
Passende Anleitungen
Quellen und weiterführende Links