Zurück

Technisches SEO: Crawling, Indexierung und saubere URLs

SEO
Rebi Okuyan Rebi Okuyan Co-Founder
Server, Crawler und Browser verbinden sich mit einem strukturierten Seitenbaum

Technisches SEO klingt nach Spezialwissen, besteht aber im Kern aus drei Fragen: Wird die Seite gefunden, darf sie in den Index, und ist eindeutig, welche URL gemeint ist. Wer diese drei Schritte auseinanderhält, vermeidet die häufigsten Fehler – etwa robots.txt und noindex zu verwechseln.

Drei Schritte, die oft vermischt werden

Bevor eine Seite in Suchergebnissen auftaucht, passieren drei getrennte Dinge. Erstens muss die URL entdeckt werden, etwa über einen Link oder eine Sitemap. Zweitens muss sie abgerufen werden dürfen – das regelt die robots.txt. Drittens entscheidet die Suchmaschine, ob der Inhalt in den Index aufgenommen wird; das steuerst du über Meta-Angaben wie noindex. Die meisten hartnäckigen Probleme entstehen, weil diese Schritte durcheinandergeraten.

Das klassische Beispiel: Eine Seite soll aus dem Index verschwinden, also wird sie in der robots.txt gesperrt. Damit verbietest du aber nur den Abruf – die Anweisung noindex auf der Seite kann dann gar nicht mehr gelesen werden. Die URL kann trotzdem in den Ergebnissen erscheinen, nur ohne verwertbare Beschreibung. Richtig ist: Wenn eine Seite raus soll, muss sie crawlbar bleiben und noindex tragen. Erst wenn sie zuverlässig verschwunden ist, kann man über eine Sperre nachdenken.

Welches Mittel wofür gedacht ist

Wichtig: Du kannst die Aufnahme in den Index nicht erzwingen. noindex schließt eine abrufbare Seite aus. Ein Canonical-Hinweis schlägt dagegen die bevorzugte URL ähnlicher Inhalte vor. Diese beiden Ziele solltest du nicht miteinander vermischen.

MittelWirkt aufTypischer EinsatzHäufiger Fehler
robots.txtAbruf der URLInterne Suchergebnisse oder endlose Filterpfade ohne eigene Nachfrage vom Crawlen ausnehmen – nicht sämtliche Filter pauschalDamit Seiten aus dem Index entfernen wollen
noindexAufnahme in den IndexDanke-Seiten, dünne Tag-Übersichten, DruckansichtenAuf Seiten setzen, die gleichzeitig gesperrt sind
CanonicalAuswahl unter Dubletten (Hinweis, keine Anweisung)Gleicher Inhalt unter mehreren URLs, etwa mit Tracking-ParameternAls Umleitung missverstehen; alle Seiten auf die Startseite zeigen lassen
301-WeiterleitungAdresse selbstDauerhaft geänderte URLs nach Umbau oder RelaunchKetten über mehrere Stationen stehen lassen
SitemapEntdeckungBekanntmachen wichtiger, indexierbarer URLsFehlerseiten oder noindex-URLs mit hineinschreiben

Was eine saubere URL ausmacht

Eine gute URL ist kurz, dauerhaft und beschreibt den Inhalt in Kleinbuchstaben mit Bindestrichen. Wichtiger als Optimierungen im Pfad ist aber Stabilität: Änderungen an URLs machen Weiterleitungen nötig und führen zu verlorenen Links und Brüchen in Berichten. Bleiben die URLs bei einem Umbau unverändert, entfällt dieser Aufwand vollständig. Deshalb lohnt es sich, die Struktur einmal gründlich zu entscheiden, statt sie halbjährlich anzupassen.

Vorsicht ist bei Parametern geboten. Sortierungen, Filter und Session-Werte können aus einer Seite hunderte Adressen machen, die alle denselben Inhalt zeigen. Für Suchmaschinen sieht das nach Dubletten aus, für dich nach unübersichtlichen Daten. Sinnvoll ist, sich pro Inhalt auf eine kanonische Adresse festzulegen und reine Varianten – etwa Tracking-Parameter oder Sortierungen – per Canonical dorthin zeigen zu lassen. Varianten mit eigenem Inhalt und eigener Nachfrage bleiben davon ausgenommen; und das Canonical bleibt ein Hinweis, den Google auch anders entscheiden kann. Wenn ohnehin ein Umbau ansteht, gehört diese Aufräumarbeit in die Planung – wie das zusammenspielt, zeigt die SEO-Checkliste für den Relaunch.

Rendering: Was der Bot sieht, ist nicht immer was du siehst

Viele moderne Websites bauen Inhalte im Browser zusammen. Das funktioniert, kann aber dazu führen, dass zentrale Texte, Navigationen oder Produktlisten erst nach der Ausführung von JavaScript existieren. Prüfen lässt sich das ohne Spezialwerkzeug: Ruf eine Seite auf und deaktiviere JavaScript, oder sieh dir den ausgelieferten Quelltext an. Fehlen dort deine Überschriften und Links, hast du einen Befund – unabhängig davon, ob Google die Seite am Ende doch rendert.

Verwandt, aber nicht identisch ist das Thema Geschwindigkeit. Ladezeit ist kein Ersatz für Auffindbarkeit, wirkt aber auf Nutzung und Abbrüche. Wie du die richtigen Werte misst und in eine Reihenfolge bringst, steht in Website-Ladezeit verbessern. Beides zusammen bildet das Feld, das eine technische SEO-Betreuung typischerweise abdeckt.

Fiktives Beispiel: Der Shop mit den 40.000 URLs

Stell dir einen erfundenen Onlineshop für Bürobedarf vor. Der Katalog umfasst rund 800 Produkte, die Search Console meldet aber zehntausende bekannte Adressen. Beim Nachsehen zeigt sich: Jede Kombination aus Farbe, Größe und Sortierung erzeugt eine eigene URL, und jede davon ist verlinkt. Die Folge ist nicht, dass Google alles indexiert – sondern dass ein Teil der Abrufe in Varianten fließt und neue Produktseiten dadurch später entdeckt werden können. In diesem hypothetischen Fall prüfst du zuerst, welche Varianten einen eigenen Suchbedarf bedienen. Reine Dubletten können einen Canonical-Hinweis auf die passende Hauptseite erhalten. Seiten, die bewusst nicht in die Suche gehören, behandelst du getrennt mit noindex und lässt sie dafür abrufbar. Nutze noindex nicht als Ersatz für eine Canonical-Zuordnung. Die Sitemap enthält nur gewünschte kanonische URLs. Eine Crawling-Sperre für große Filterräume ist eine eigene technische Entscheidung und muss vorhandene Indexierung berücksichtigen. Danach bleibt die Aufgabe, die wichtigen Kategorien intern gut zu verlinken, damit sie überhaupt erreichbar sind – dazu passt Interne Verlinkung: So finden Menschen die nächste passende Seite.

Grenzen und Missverständnisse

Technisches SEO schafft Voraussetzungen, es ersetzt keine Inhalte. Eine perfekt konfigurierte Seite ohne Substanz rankt nicht besser als eine mit kleinen technischen Mängeln und guter Antwort. Genauso wenig gibt es einen fertigen Zustand: Jede Erweiterung, jedes Plugin, jede neue Sprachversion kann neue Dubletten oder Sperren erzeugen. Und es gibt keine garantierte Wirkung: Du beseitigst Hindernisse und schaffst damit die Voraussetzung dafür, dass Inhalte überhaupt wirken können. Wir empfehlen deshalb, technische Prüfungen in feste Abstände zu legen, statt sie einmalig abzuhaken.

Sinnvoller nächster Schritt

Öffne deine robots.txt und deine Sitemap und vergleiche beides mit einer Liste deiner wichtigsten Seiten. Steht dort etwas, das nicht hingehört, oder fehlt etwas Zentrales? Diese Prüfung dauert kaum eine halbe Stunde und deckt erfahrungsgemäß die peinlichsten Fehler auf, bevor überhaupt ein Werkzeug zum Einsatz kommt.

Technische Hürden gemeinsam abbauen

Wenn Indexierung, Dubletten oder Weiterleitungen unübersichtlich geworden sind, lohnt sich ein strukturierter Blick auf die Gesamtstruktur.

SEO-Zusammenarbeit ansehen
Wissen

Wissen, das digital weiterbringt.

08.09.2026
Gute Backlinks erkennen: Relevanz statt Linkpakete Woran du erkennst, ob ein Verweis dir wirklich hilft: Relevanz, Kontext und Herkunft – und warum gekaufte Linkpakete ein Risiko statt einer Abkürzung sind. Weiterlesen
08.09.2026
Interne Verlinkung: So finden Menschen die nächste passende Seite Interne Links sind kein SEO-Trick, sondern Wegweiser. So planst du sie pro Seitentyp, formulierst brauchbare Linktexte und findest verwaiste Seiten. Weiterlesen
08.09.2026
Local SEO: Dein Google Unternehmensprofil sinnvoll nutzen Kategorien, Öffnungszeiten, Fotos, Bewertungen: Was am Unternehmensprofil wirklich Pflege braucht und wie du es mit deiner Website verbindest. Weiterlesen
08.09.2026
SEO-Audit: Was du zuerst prüfen solltest Ein Audit wird schnell zur endlosen Mängelliste. Diese Reihenfolge zeigt dir, welche Prüfschritte zuerst kommen und wie du Befunde nach Wirkung sortierst. Weiterlesen
06.09.2026
Was ist SEO? Suchmaschinenoptimierung einfach erklärt SEO einfach erklärt: wie Suchmaschinenoptimierung funktioniert, welche Bereiche dazugehören und wie du bei Google sichtbar wirst. Weiterlesen