Wichtige Änderung der Google Webmaster-Richtlinien und was du nun tun musst

Wichtige Änderung bei den Google Webmaster-Richtlinien und was du nun tun musstÜber viele Jahre war es so, dass die Google Bots die eigenen Websites ohne Javacript und CSS analysiert haben.

Sie haben sich sozusagen wie ein reiner Textbrowser (z.B. Lynx) verhalten und sich rein auf die normalen Inhalte konzentriert.

Doch das hat sich nun geändert. Was du nun tun musst, um keine Ranking-Einbußen hinzunehmen, erfährst du im Folgenden.

Neue Google Richtlinien für Website-Betreiber

Die Zeiten sind nun endgültig vorbei, dass Google nur reinen Text, Bilder und ähnliches analysiert hat. War es vor ein paar Jahren noch normal, dass interaktive Elementen vom Google Bot ignoriert wurden, hat sich das nun geändert.

Google hat offiziell bekanntgegeben, dass die Google-Indexierungssysteme nun auch JavaScript und CSS analysieren.

Das bedeutet, dass nun auch interaktive Elemente und ähnliches analysiert werden und in die Bewertung der Website und damit in die Ermittlung der Rankings einfließen werden.

Über kurz oder lang wird es also Auswirkungen haben, wenn man den Google Bots den Zugriff auf die JavaScript- und CSS-Dateien der eigenen Website verweigert.

Deshalb sollte man tätig werden und die Einstellungen diesbezüglich anpassen, auch wenn noch nicht klar ist, welche negativen Auswirkungen dies genau haben wird.

Wie wurden die Zugriffe bisher blockiert?

Normalerweise geschieht dies über die robots.txt Datei, die im Rootverzeichnis deiner Website liegt.

Diese Datei enthält Hinweise, was eine Suchmaschine darf und was nicht. Allerdings sind es nur Hinweise, wirklich aussperren kann man damit niemanden, denn eine robots.txt kann ignoriert werden. Die Google Bots halten sich aber daran.

Mit den folgenden beiden Zeilen haben z.B. WordPress-Blogger bisher den Google Bot von dem Zugriff auf die JavaScript- und CSS-Dateien ausgeschlossen:

User-agent: *
Disallow: /wp-

Das bedeutet, dass man alle Zugriffe auf die Unterverzeichnisse die mit “wp-” anfangen, blockt. Da die Theme-Dateien und damit auch die JavaScript- und CSS-Dateien bei WordPress im Unterordner “wp-content/themes/Theme-Name” liegen, kann der Google Bot darauf nicht zugreifen.

Das Ergebnis kann man sich in den Google Webmaster Tools anschauen. Dort geht man einfach ins Untermenü “Crawling > Abruf wie durch Google” und klickt auf den Button “Abrufen und Rendern”.

Bei mir sah es bisher so aus:

Wichtige Änderung bei den Google Webmaster-Richtlinien und was du nun tun musst

Zudem wird in einer langen Liste aufgelistet, auf welche JavaScript- und CSS-Dateien Google nicht zugreifen konnte.

Abruf von JavaScript und CSS zulassen

Damit der Google Bot in Zukunft Zugriff auf JavaScript- und CSS-Dateien bekommt, muss man die robots.txt Datei etwas ändern.

Allerdings sollte man die folgende Zeile nicht einfach löschen:

Disallow: /wp-

Sonst indexiert Google auch die Unterverzeichnisse für den Admin und ähnliches. Das sollte nicht sein.

Stattdessen habe ich die folgende Zeile hinzugefügt:

Allow: /wp-content/themes/Mein-Theme/

Damit behält man die generelle Sperrung bei, erlaubt aber zumindest den Zugriff auf das Theme-Unterverzeichnis und damit auf JavaScript- und CSS-Dateien des Themes.

Wenn ich nun in den Google Webmaster Tools wieder einen “Abruf wie durch Google” starte, sieht das Ergebnis so aus:

Wichtige Änderung bei den Google Webmaster-Richtlinien und was du nun tun musst

Nutzen z.B. Plugins eigene CSS- und JavaScript-Dateien für besondere Funktionen auf der Website oder im Blog, sollte man diese ebenfalls für die Indexierung frei geben.

Ebenfalls in den Google Webmaster Tools kann man übrigens die eigene robots.txt Datei nach Fehlern analysieren lassen. Das sollte man nach Änderungen tun.

Kann es großen Ärger geben?

Ich gehe nicht davon aus, dass Google in absehbarer Zeit Website aus dem Index schmeißt oder stark abstraft, nur weil JavaScript- und CSS-Dateien nicht verfügbar sind.

Allerdings kann es sich in begrenztem Maße schon auswirken und um möglichst weit vorn in Google zu landen, sollte man auch die kleinen Dinge beachten.

Deshalb würde ich empfehlen, es dem Google Bot so einfach wie möglich zu machen.

Eine interessante Auswertung von 625 Domains hinsichtlich der Sperrung von CSS- und JavaScript-Dateien gibt es übrigens auf internetkapitaene.de.

Peer Wandiger

25 Gedanken zu „Wichtige Änderung der Google Webmaster-Richtlinien und was du nun tun musst“

  1. Meiner Meinung nach gibt es heute überhaupt keine Verwendung mehr für die robots.txt-Datei. Den Standort der Sitemap kann man Google auch über die Webmaster Tools mitteilen und wenn keine robots-Datei vorhanden ist, ist dem Crawler sowieso alles erlaubt. Hab ich hier was übersehen, bzw. kennt noch jemand einen wichtigen Anwendungsfall, bei dem eine robots.txt-Datei nötig wäre?

    Antworten
  2. Man liest dieses an verschiedenen Stellen. Immer wieder heißt es “google will….”

    Was wäre das Echo wen Bing sagen würde “Unsere Richtlinien sehen zukünftig vor….”.

    Wie wäre da die Reaktion? Würde man sich die Mühe machen? Oder würde man eher denken “Leckt mich am Ärmel”?

    Will damit nur sagen, Google stellt Spielregeln auf und alle springen. Inzwischen haben wir ein Googlenet.

    Ist aber nur meine Meinung – von jemanden der Google eher kritisch betrachtet denn mit Hurra. Denn Google baut das Internet um. Der klassische Blog, von dem Google mal sehr gut gelebt hat, ist tot. Es lebe das Fachmagazin.

    Antworten
    • Ich sehe Google ebenfalls in vielen Punkten kritisch. Aber deshalb halte ich nichts davon pauschal alles negativ zu sehen.

      In diesem Fall ist es einfach eine technische Weiterentwicklung und Google gibt Tipps und Empfehlungen an die Webmaster raus.

      Das ist fairer und transparenter als bei vielen anderne Internet-Firmen.

      Antworten
      • Du hast ja recht, ich weiß, mein Pendel schlägt gerade stark aus und ich muss erst wieder die Mitte finden was Google betrifft. Aber so Worte wie Abstrafung in “freien Internet” gehen halt in meinem Kopf schwer zusammen. Dazu schwammige Begriffe wie “natürliche Verlinkung” die nicht genau definiert sind und wohlwollend-willkürlich gehandhabt werden rufen eine “natürliche Abwehr” in mir hervor.

        Gab es nicht mal haufenweise Tipps in der Richtung die Spider generell aus vielem auszuschließen? Es gibt ja immerhin noch andere Spider außer den von Google.

        Naja, egal, wir werden noch viele Änderungen hinnehmen müssen. Wenn nicht die SEOs jeden Tag eine neue Sau durchs Dorf treiben dann sorgt Google schon dafür. 🙂

        Antworten
        • Da schließe ich mich an. Versuche inzwischen so wenig Google wie möglich zu Nutzen und auf Alternativen umzustellen, auch wenn die meist etwas schlechter sind.

          Ich habe inzwischen auch die Schnauze voll von Google. Als Webmaster beschäftigst du dich ja bald mehr damit, wie du auf Google wirkst, als dass du dich um Inhalte und die Website kümmerst. Warum? Weil jede kleine Abstrafung oder Abstufung gleich gigantische Auswirkungen auf die Besucherzahlen hat und Google dir ja nie das Was, Wieso oder warum mitteilt. Mal ganz davon zu schweigen, dass es keinen Support gibt und du keinerlei Rechte hast oder Hife bekommst. Außer bei AdWords, da schreiben sie dich nach gefühlten 5 Minuten an und wollen dir mit den Anzeigen helfen ^^

          Antworten
          • “… wie du auf Google wirkst, als dass du dich um Inhalte und die Website kümmerst. …”

            Und wieder wird das arme Google falsch verstanden. Genau darum geht es doch, Google will gute Inhalte also gute Websites liefern. Das ist das was wir alle wollen und das macht Google so attraktiv für uns. Warum wollen wir dann nicht auch liefern? Google hat uns das Internet entscheidend besser gemacht, warum vergessen wir das immer wieder. Es spricht absolut nichts dagegen, mit Google zusammenzuarbeiten. Wir profitieren von deren Geschäftszweck!

  3. Danke für den Tipp! Werde ich sofort umsetzen. Was ich nicht ganz verstehe, was bringt das Google wenn eine css Datei indiziert wird? Das sagt doch nichts über den Inhalt einer Seite aus, sondern nur über den Aufbau? Lg, Michael

    Antworten
    • Dabei geht es nicht um die Indexierung, sondern darum, ob Google diese Dateien öffnen und lesen darf, was für das Rendering einer Webseite unerlässlich ist. Google rendert Websites, um deren Inhalt und die Struktur besser verstehen zu können und zum Beispiel die Überschriftenaufteilung korrekt interpretiern zu können.

      LG

      Antworten
  4. Ich sehe der Sache auch entspannt entgegen. Google will es jedem Webseitenbetreiber ermöglichen z. B. mit seinem WordPress Blog und ohne große php, css oder html Kenntnissen eine gute Plazierung zu erlangen.

    Es soll für den Augenarzt möglich sein durch guten content mit seiner WordPress Seite für das key “Augen operation” zu ranken.
    Wenn dieser aber zuerst ein Informatik Studium abschließen muss weil er trotz gutem qualtativ hochwertigen content nicht an einem 16 jährigen Seo vorbeikommt, ist das der falsche Weg.

    Antworten
  5. Hallo Peer,

    wieder mal ein sehr schöner und informativer Beitrag von dir. Meine Robots.txt sieht folgendermaßen aus:
    User-agent: *
    Disallow: /wp-admin/

    Sitemap: meine-url/sitemap.xml

    Trotz Disallow im Quellcode hat der Google Bot Zugriff auf meine CSS sowie JS Dateien. Wie kann das möglich sein? Eine weitere Frage wäre, was der Button “an den Index senden” auf sich hat?

    Antworten
    • Du verbietest damit nur den Zugriff auf das Unterverzeichnis “wp-admin”.

      Da die JS und CSS Dateien aber im Unterverzeichnis “wp-content” liegen, hat Google darauf freien Zugriff.

      Antworten
  6. Also wie verhält sich das denn mit dem WP Plugin Pretty Link ? Muss man hier auch tätig werden? Eigentlich kann man dies doch getrost weglassen oder?

    Antworten
  7. Irgendwie komisch, aber je weniger ich für SEO mache, desto besser werde ich gerankt. Und vice versa 🙁

    Antworten
  8. Puuh… ich habe das Gefühl immer wenn ich mich grade reingefuchst habe, gibt es schon wieder was neues… ich finde das alles super interessant. Aber wenn man alles allein macht kommt man kaum hinterher ( zumindest bei nem Onlineshop mit 3000 Artikeln) deshalb musste ich mir da Hilfe suchen. So interessant es auch ist…

    Antworten
    • Ja, macht auch echt Spaß sich ständig über Googles Richtlinien und Änderungen informieren zu MÜSSEN, weil du sonst nicht mehr vernünftig ranken kannst 🙂 Wer will schon Artikel schreiben oder Freizeit haben, wo Google doch genug Hausaufgaben aufgibt ^^

      Antworten
  9. Danke für den Hinweis!

    Ich teile deine Meinung, dass man nicht zu schnellem Handeln gezwungen ist. Allerdings fährt man immer am besten, wenn man sich einfach an die Guidelines hält. Und so hat man jetzt genug Zeit für die Umstellung.

    Antworten
  10. Also ich wusste noch nichts von den Änderungen bei Google. Danke für den Hinweis!
    Wenn man nur dem Google-Bot den Zugriff gewähren möchte, so muss man nicht mit einer Wildcard (*) operieren, sondern kann Google auch direkt adressieren:

    User-agent: Googlebot

    Es gibt aber auch noch weitere Bots für die einzelnen Google-Services:

    Google: Googlebot
    Google-Bildersuche: Googlebot-Image
    Google-Adsense: MediaPartners-Google
    Google-Adwords: Adsbot-Google

    Antworten
  11. Danke für den Tip. Ist es denn über haupt sinnvoll Google von irgendeiner Information fernhalten zu wollen ? Oder ist der Bot gleich beleidigt wenn er nicht schnüffeln durfte ?

    Gruss
    Henux
    der camphunter
    immer Urlaub immer Arbeit !

    Antworten
  12. Also ich würde Google und andere Websuchmaschinen nur in Ausnahmefällen vom Indexieren diverser Inhalte abhalten. Schließlich muss eine Suchmaschine ja den Inhalt einer Website analysieren um gute Suchergebnisse erzeugen zu können…

    Antworten

Schreibe einen Kommentar