Doppelte Seiten: wie man sie findet und entfernt

Bei der Optimierung einer Website ist es wichtig, Duplikate zu beseitigen – also Seiten mit unterschiedlichen URLs, aber identischem Inhalt. Der Content kann vollständig oder teilweise übereinstimmen, in beiden Fällen schadet das der Platzierung in den Suchmaschinen.

Warum doppelte Seiten gefährlich für Ihre Website sind

Die größte Gefahr, die doppelte Seiten mit sich bringen, besteht darin, dass keine eindeutige Seite existiert, die optimal zur Suchanfrage passt. Dadurch kann der Bot nicht entscheiden, welche Seite er dem Nutzer in den Ergebnissen anzeigen soll.

Die SEO-Folgen doppelter Seiten:

• geringe Relevanz, die zu sinkenden Positionen in der Suche führt;
• ein allgemeiner Rückgang der Website-Positionen in den Suchergebnissen;
• „Schwankungen” in den Suchmaschinen-Positionen – sie hängen mit der ständigen Veränderung der Relevanz zur Nutzeranfrage zusammen.

«Ich und mein Team von Solarweb betrachten uns, wie alle SEO-Optimierer, als entschiedene Kämpfer gegen Klone, die die Platzierung behindern»

Arten von Seitenduplikaten

Inhaltliche Duplikate gibt es in folgenden Varianten:

• vollständige – wenn unter verschiedenen URLs absolut identischer Seiteninhalt liegt;
• teilweise – in diesem Fall findet eine unvollständige Klonierung von Inhalten auf verschiedene Seiten der Ressource statt, je nach deren Struktur.

Zusätzlich schlage ich vor, die sinngemäße Klonierung zu betrachten, bei der mehrere Seiten oder Kategorien einer Website den gleichen Inhalt tragen, aber in unterschiedlichen Worten formuliert sind.

Die richtige Anwendung von Algorithmen zur Erkennung doppelter Seiten ermöglicht es, die am besten geeignete Methode zu ihrer Beseitigung einzusetzen.

Vollständige Seitenduplikate

Vollständige Inhaltsduplizierung auf einer Website kann folgende Formen annehmen:

1. Klone der Startseite – der Großteil davon hängt mit den Besonderheiten des CMS-Systems zusammen, das für die Verwaltung der Website zuständig ist.
2. Spiegelungen der Ressource, die in der Adresse „www” enthalten oder nicht enthalten können. Es ist wichtig, die Hauptvariante festzulegen, um solche Fehler zu vermeiden.
3. Referrer-Wiederholungen. Links dieser Art kopieren den Inhalt und sind für die Indexierung durch Suchmaschinen-Bots zugänglich. Das führt entsprechend zur Entstehung unnötiger Seiten bei Google. Hierarchiefehler, die ebenfalls zur Entstehung von Klonen führen. Sie hängen mit Fehlern bei der Erstellung von Kategorien und Katalogen zusammen. Dadurch können unter verschiedenen URLs identische Bereiche existieren.
4. Eine fehlerhafte Konfiguration des 404-Fehlers führt zu einer Server-Antwort 200, was die Wiederholung identischer Seiten nach sich zieht.
5. Das Vorhandensein von Adressen mit doppelten oder dreifachen Schrägstrichen in der URL.
6. Das Vorhandensein von UTM-Tags, die wichtige Parameter zur Steigerung der Werbekampagnen-Effizienz enthalten. Aber sie erzeugen vollständige Klone.

„Jegliche Duplikate erfordern die Aufmerksamkeit des Optimierers – Untätigkeit führt zu einem schnellen Verlust der Positionen in den Suchergebnissen”

Ich empfehle, die Website auch bei einem Umzug auf ein sicheres Protokoll, zum Beispiel auf https, auf Duplikate zu überprüfen.

Klone treten häufig auf Ressourcen auf, die auf Basis der WordPress-Engine erstellt wurden. Suchmaschinen „mögen” solche Fehler überhaupt nicht, und Google verhängt schnell Filter auf Websites, wenn Seitenklone entdeckt werden.

Die Haupteigenschaft vollständiger Duplikate – sie lassen sich leicht erkennen. Allerdings kann ein solch umfassender Einfluss dem virtuellen Auftritt ernsthaften Schaden zufügen und die gesamte Arbeit des Optimierers zunichtemachen.

Teilweise Seitenduplikate

Zu den teilweisen Duplikaten gehören folgende Arten, die für die SEO-Optimierung gefährlich sind:

• Ergebnisse der Website-internen Suche: die Hauptgefahr besteht darin, dass Nutzer in kurzer Zeit eine große Anzahl von Kopien erzeugen können;
• Sortier- und Paginierungsseiten – sie haben in der Regel einen eigenen „get”-Parameter und hängen mit den Besonderheiten des CMS zusammen;
• Duplikate von Produktkategorien – solche Seiten sind normalerweise nicht für die Suche optimiert, werden aber als Filterseiten des Online-Shops erstellt;
• separate Kategorien, die zum Drucken oder Herunterladen erstellt werden – ihr Hauptzweck ist, bestimmte Annehmlichkeiten zu schaffen, sie sind jedoch Klone (Beispiel: http://wts.ru/seo https://wts.ru/seo/print);
• Bewertungs-, Kommentar- und Eigenschaftsseiten – sie werden automatisch beim Auswählen einer Produktkarte generiert;
• Kopien von HTML-Seiten, die mithilfe von AJAX erstellt wurden.

Die Suche nach teilweisen Duplikaten sollte also davon ausgehen, dass sie vom CMS-System der Ressource generiert wurden.

Teilweise Klone unterscheiden sich von „totalen” durch ihre Auswirkung auf die Platzierung. Unvollständige Duplikate zeigen sich nicht sofort durch Positionsverluste in den Suchergebnissen. Aber sie machen die Arbeit des Optimierers durch ihren schrittweisen Einfluss ebenfalls zunichte. In Einzelfällen wird ihre Anwesenheit erst dann entdeckt, wenn die Website bereits unter einen Suchmaschinenfilter gefallen ist.

Eine zusätzliche Schwierigkeit bei unvollständigen Duplikaten von Kategorien und Bereichen – die gleiche Semantik der teilweisen Kopien. Das führt zu logischer Konkurrenz und Kannibalisierung (Targeting auf dasselbe Keyword) von Schlüsselwörtern, was einen schrittweisen Positionsverlust durch Relevanzprobleme nach sich zieht.

Wie der Google-Algorithmus auf Duplikate reagiert

Die Google-Suche mag keine Seitenwiederholungen, besonders wenn es zu viele davon gibt. Aus Sicht der Bot-Entwickler wird angenommen, dass Kopien im Versuch des Optimierers oder Website-Inhabers entstehen, das Ranking zu manipulieren – den Nutzer in die Irre zu führen, ihn zum Besuch zu bewegen und so den Traffic zu erhöhen.

Natürlich schließe ich Situationen nicht aus, in denen die Entstehung eines Klons das Ergebnis banaler Fehler und Systemausfälle ist. Aber der Algorithmus des Bots ist so aufgebaut, dass er nur einzigartigen Content anzeigt. Das Auftreten von Duplikaten führt zu einer Überprüfung des Ressourcen-Rankings und einer Verschlechterung der Ergebnisse, bis hin zur völligen Ignorierung bei relevanten Suchanfragen.

Wie man doppelte Seiten auf der Website findet

Die Suche nach doppelten Seiten auf einer Website kann auf verschiedene Weisen erfolgen. Als Hilfe empfehle ich, auf folgende Anzeichen von Kopien zu achten:

• verschiedene Protokolle http und https – http://website, https://website;
• Vorhandensein oder Fehlen von www – https://www.website, https://website;
• Schrägstrich am Ende der URL – https://website, https://website/;
• mehrfache Schrägstriche am Ende oder in der Mitte der URL – https://website////, https://website//////kategorie;
• verschiedene URL-Erweiterungen am Ende – https://website.php, https://website.html;
• Hinzufügen beliebiger Zeichen, die die Komplexität erhöhen – https://website/3sda, https://website//kategorie3sda;
• Hinzufügen von Zahlen am Ende – https://website, https://website//345.

Es gibt auch Kopien mit Sternchen, Bindestrich/Unterstrich, fehlenden Ebenen oder Fehlern darin.

Manuelles Monitoring

Die Online-Suche nach doppelten Seiten in den Suchergebnissen kann durch manuelles Monitoring mithilfe des speziellen Befehls „site” durchgeführt werden.

„Die Kombination sieht so aus: site:Websitename Leerzeichen Textfragment”

Wenn das in der Suchmaschine eingegebene Textfragment fett in den Snippets von zwei oder mehr Ergebnissen erscheint, deutet das auf vollständige Kopien der Ressource hin. Es ist wünschenswert, dass der Ausschnitt nicht mehr als einen Satz enthält – ich empfehle, keinen Punkt zu verwenden, da sein Vorhandensein die Untersuchung indizierter Websites erheblich verfälscht.

Webmaster-Panels

Die Überprüfung einer Website auf doppelte Seiten kann über das Webmaster-Panel durchgeführt werden. Dazu gehören die Google Search Console und Desktop-Parser-Programme.

Die Suche nach doppelten Seiten mit der Google Search Console ist unkompliziert. Die Konsole sucht Kopien anhand der Meta-Beschreibungen. Es reicht, zum Tab „HTML-Optimierung” zu navigieren. Als Ergebnis erhalten Sie eine Liste potenziell identischer Seiten.

Der Algorithmus zur Überprüfung doppelter Seiten auf der Website umfasst die Kette „Indexierung – Seiten in der Suche – Ausgeschlossene Seiten – Duplikate”.

Unter den Parser-Programmen, die einen Algorithmus zum Finden doppelter Seiten auf der Website enthalten, sind die praktischsten:

• Screaming Frog Seo Spider – effektives Scannen kleiner und mittlerer Projekte, ermöglicht die Überprüfung der korrekten Erstellung von Meta-Tags;
• Netpeak Spider – führt ein vollständiges Content-Audit durch, einschließlich wiederholter Kategorien;
• Xenu – führt ein technisches Website-Audit durch, scannt und sortiert die erhaltenen Ergebnisse.

„Desktop-Dienste (außer Xenu) sind kostenpflichtig”

Online-Dienste

Die Online-Überprüfung einer Website auf doppelte Seiten kann mithilfe spezieller Dienste durchgeführt werden:

• Serpstat;
• Seoto.me;
• JetOctopus.com.

„Die Nutzung von Online-Diensten zur Suche nach Duplikaten ist kostenpflichtig”

Die mithilfe externer Systeme erzielten Ergebnisse gelten keineswegs als 100%ige Ursache für Ranking-Probleme einer Website. Aber sie sind ein Indikator dafür, dass eine Überprüfung notwendig ist.

Manuelle Überprüfung von Duplikaten

Die manuelle Überprüfung doppelter Seiten ist für kleinere Ressourcen mit einfacher Struktur geeignet. Der Sinn dieser Aktion besteht in der Auswahl verschiedener URL-Varianten, für die Klone identifiziert werden können. Dabei ist es wichtig, jedes Linkattribut zu berücksichtigen, das auftreten kann.

Den Hauptnachteil dieser Methode sehe ich im hohen Zeitaufwand sowie im hohen Risiko, etwas zu übersehen. Zusätzlich kann man manuell nach inhaltlichen Kopien suchen, bei denen die Content-Prüfung durch einfaches Lesen des Inhalts erfolgt. Wenn zwei Artikel faktisch die gleiche Frage beantworten, kann man getrost einen davon löschen.

Wie man doppelte Seiten einer Website beseitigt

Bevor man Duplikate online löscht, ist es wichtig, die Ursache ihres Auftretens herauszufinden. Ohne Beseitigung der Quelle hat das Entfernen identischer Bereiche keinen Sinn – sie tauchen wieder auf.

Technische Klone können auf folgende Weisen geschlossen werden:

• Redirect 301;
• über den Tag robots”content=”noindex”;
• robots.txt;
• mit dem Tag rec=canonical;< /li>
• mit den Attributen „prev” und „next”.

Methoden zur Neutralisierung inhaltlicher Duplikate:

• Einzigartigkeit der Texte sowie der Medieninhalte sicherstellen;
• Websites auf verschiedenen Subdomains erstellen, alternate verwenden.

„Jedes Duplikat erfordert eine individuelle Entscheidung – behalten oder entfernen. Gelöscht werden sollten Kopien, die keinen Funktionszweck haben”

Über den Tag <meta name=”robots” content=”noindex” />

Der Tag <meta name=”robots” content=”noindex” /> ist besonders wichtig für Seiten, die weiterhin existieren sollen. Sein Hauptzweck ist es, dem Suchmaschinen-Bot den Zugang zu sperren, damit er die Seite nicht indexiert und bei der Ausgabe relevanter Suchergebnisse nicht berücksichtigt.

Er kann auf zwei Weisen angewendet werden:

• <meta name=”robots”content=”noindex,<strong>nofollow</strong>” /> – das Folgen von Links im Dokument verbieten;
• den Ausdruck „nofollow durch follow” ersetzen – das Folgen erlauben.

„Die Platzierung des erlaubenden/verbietenden Tags erfolgt im HTML-Code der Duplikate zwischen den <head>-Tags”

301-Redirect einrichten

Nachdem Sie herausgefunden haben, wie Sie eine Website auf doppelte Seiten überprüfen, und sich entschieden haben, alle Funde zu beseitigen, können Sie die Methode des 301-Redirects wählen. Sein Sinn besteht darin, Nutzer von einer Kategorie auf eine andere umzuleiten, wobei die Kopien miteinander „verschmolzen” werden. Der Hauptvorteil – die Linkmasse wird „vererbt”.

Die Anwendung eines Redirects ist sinnvoll, wenn Sie nicht vorhaben, aus verschiedenen Gründen erstellten Klonen ein Existenzrecht einzuräumen.

„Diese Methode können Sie über die Datei .htaccess im Stammverzeichnis einsetzen”

Den Tag rel=”canonical” setzen

Der Tag canonical ermöglicht es, dem Bot die kanonische, also die Hauptseite anzuzeigen, die er indexieren soll. In diesem Fall achten die Bots nur auf sie und nicht auf die Duplikate. Besonders effektiv ist diese Methode, wenn doppelte Seiten zwar gefunden wurden, sich aber nicht löschen lassen.

Die Verwendung des kanonischen Tags eignet sich für folgende Bereiche:

• gleicher Inhalt in verschiedenen Sprachen und auf anderen Domains;
• Paginierungsseiten;
• Sortierung und Filter;
• UTM und Druckseiten.

Das Attribut eignet sich für Google und ist besonders effektiv für diese Suchmaschine.

Wie man dieses Attribut festlegt

Um das kanonische Attribut richtig zu verwenden, muss man unter allen Duplikaten die Haupt-URL bestimmen und sie dann in das Attribut eintragen.

„Ein Beispiel für ein korrekt eingetragenes Attribut sieht so aus: <link rel=”canonical” href=”http://website/seite”>”

Anschließend muss es allen nicht-primären Bereichen hinzugefügt werden. Das kann über ein Plugin der Website-Engine geschehen (bei WordPress – Yoast SEO, bei OpenCart – SEO-URL festlegen, bei Joomla – SEF aktivieren). Aber die einfachere Methode ist meiner Meinung nach, das erhaltene Attribut direkt in den head-Bereich jeder gewünschten Seite einzutragen.

Einrichtung der Attribute rel=”next” und rel=”prev”

Die Attribute rel=”next” und rel=”prev” ermöglichen es, Seiten zu einheitlichen Ketten zu verbinden. Allerdings ist diese Methode nur für Paginierungsseiten effektiv und nur mit Ausrichtung auf den Google-Suchbot. Der Tag ist keine verbindliche Direktive, er gilt als Hilfsattribut, da man ihn nur schwer als universell bezeichnen kann.

Das Hauptrisiko hier ist das Auftreten identischer Ketten. Um das zu vermeiden, muss man darauf achten, wie die Tags im Implementierungsprozess generiert werden, und eine klare Reihenfolge zwischen den Paginierungsseiten sicherstellen.

Wie man es einrichtet

Die Platzierung der Attribute rel=”next” und rel=”prev” erfolgt auf der ersten Seite, im Code ist das der Bereich <span style=”font-weight: 400;”> <head></span>.

Entsprechend:

• erste Seite – http://website/seite1;
• zweite – <link rel=”next” href=”http://website/seite2.html”>< /li>

„Für alle nachfolgenden Bereiche sollten die Attribute rel=”next” und rel=”prev” hinzugefügt werden, die entsprechend auf die nächste und vorherige URL verweisen”

Logischerweise braucht die erste Seite nur das Attribut rel=”next”, während für die zweite der vorherige und der nächste Bereich angegeben werden müssen. Das sieht dann so aus:

• <link rel=”prev” href=”http://website/seite1″>;
• <link rel=”next” href=”http://website/seite3″>.

Auf der letzten Seite geben wir dementsprechend, wie bei der ersten, nur ein Attribut an – den Link zum vorherigen Bereich der Website.

Zugang über robots.txt sperren

Den Zugang zu einem bestimmten Bereich kann man mit einer ganz traditionellen Methode sperren – mithilfe der Datei robots.txt. Das befreit Sie allerdings nicht garantiert von Duplikaten, da einige Seiten oft trotz des Verbots durch diese Datei indexiert werden. Hier gibt es einen wichtigen Punkt: Seiten, die bereits indexiert wurden, bleiben für Suchmaschinen zugänglich, aber das Auftreten neuer Kopien lässt sich durchaus verhindern.

Die Datei einzurichten ist nicht schwer – es reicht, die Seiten, die Sie dem Bot nicht zeigen möchten, mit einem vorangestellten Schrägstrich einzutragen. Zum Beispiel sind im Bild unten die Bereiche Autorisierung und Produktvergleich gesperrt.

Ich empfehle, diese Methode nur dann anzuwenden, wenn andere aus verschiedenen Gründen nicht verwendet werden können.

Verschiedene Subdomains

Die Methode der Erstellung von Websites auf verschiedenen Domains ist ideal, wenn Sie Ihre Ressource in verschiedenen Regionen oder Ländern bewerben. Das führt dazu, dass die Suchmaschine Ihre Projekte nicht als untereinander relevant betrachtet. Ideal ist es, wenn für jedes Land eine eigene nationale Domain existiert, die speziell für diesen Staat erstellt wurde.

Bemerkenswert ist, dass eine solche Aufteilung der Websites nicht nur hilft, Klone loszuwerden, sondern auch die Platzierung fördert. Außerdem ist das Risiko, Sanktionen von Suchmaschinen zu erhalten und unter ihre Filter zu fallen, nahezu ausgeschlossen.

Die Tags „alternate” und „hreflang”

Die Tags „alternate” und „hreflang” funktionieren gut bei der Neutralisierung von Bereichswiederholungen und verhindern deren Verschmelzung, selbst wenn der Content identisch ist. Sie lassen sich bequem in folgenden Fällen einsetzen:

• Sie möchten einem potenziellen Kunden eine weitere Ihrer Websites zeigen, die auf eine andere Region ausgerichtet ist;
• der Inhalt der Website ist für verschiedene Regionen und sogar Länder absolut identisch.

„Die visuelle Verwendung der Tags sieht so aus: <link rel=”alternate” hreflang=”Sprache-Region” href=”Adresse des Alternativbereichs” />”

Mit all diesen Methoden können Sie Duplikate leicht erkennen und beseitigen, um anschließend eine wirklich effektive Optimierung durchzuführen.