SEO Marketing Blog

.... googeln bis der Arzt kommt

Wat macht ne robots.txt Datei im Google Index?

Google & die robots.txt confusion

… weil Google mal wieder schön planlos unterwegs ist, hier mal ein robots.txt SEO Thema, welches ich heute erstmals so bemerkt habe.

Google listet seit wahrscheinlich Anfang August (war zumindest der früheste Zeitpunkt, zu dem ich ein Cache Datum gefunden habe) robots.txt Dateien im ach so qualitativ dollen Suchindex.
Beispiele vieler prominenter Seiten findet man hier – incl. der eigenen robots.txt von Google.com.
Die Neuerung betrifft aber nicht nur Top-Domains – bin auch von einer Kooperationspartnerin darauf hingewiesen wurden, dass deren vergleichsweise kleiner Shop seit Neuestem ebenfalls ne robots.txt bei der Site-Abfrage listet.

Was sich Google dabei wohl denkt oder eben auch nicht? Sollte man jetzt die robots.txt per robots.txt sperren, damit das ausbleibt, oder wat?
Viel Sinnloser geht es ja nun mal wirklich nicht mehr … sinnvoll für den User, im Sinne der spektakulären angekündigten Qualitätsoffensive seitens Google (mit Panda, BlaBla & Co), ist das zumindest nicht …

Andere Beiträge mit ähnlichen Inhalten, die Dich evtl. auch interessieren könnten:

Der Artikel " Google & die robots.txt confusion " enthält 148 Wörter.

Artikel mit verwandten Tags (Keywords, Suchbegriffe)
Tags: google, Google SEO, robots.txt

Am 20.09.11, 16:16 in Google SEO undTraurig, aber wahr ...
von Frank veröffentlicht. RSS Feed für Kommentare.
Du kannst hier kommentieren oder hier per Trackback
von Deinem Blog aus "verewigen".
· Gelesen: 11666 · heute: 3

29 Kommentare zu "Google & die robots.txt confusion"

20.09.11 um 17:17:18

1. dani

Gut Frage was sich Google dabei gedacht hat.
Mehrwert sehe ich jetzt nicht für die Suchmaschinenbenutzer …
21.09.11 um 02:11:51

2. Abro

Ein minimal besseres Sample liefert z.B. die Suche nach
inurl:”de/robots.txt” filetype:txt site:de

Offenbar ein unschöner Nebeneffekt der vielen Whois- und Domainbewertungs-Müllseiten. Obschon der ein oder andere natürliche Link ja nix neues sein sollte.
Wenn man bedenkt dass http://www.focus.de/robots.txt schon PR2 ist tut’s einem beinahe leid um die vergeudete Power.

Ggf. ist auch einfach beim stetigen neuschreiben der Algos ein Filter weggefallen. Frei nach dem Motto: Steht eh überall das selbe drin, wird schon nicht angezeigt. Ich meine jedenfalls auch dass vor einiger Zeit noch viel weniger dieser Ergebnisse ausgegeben wurden.

[…]
Noindex: /robots.txt

Funktioniert für mich.
21.09.11 um 12:08:14

3. robots.txt in Google-SERPs – SEO.at

[…] Google & die robots.txt confusion var szu=encodeURIComponent(location.href); var […]
21.09.11 um 20:02:35

4. Stephan

Erst kamen die via robots.txt blockierten Seiten in den Index und nun die robots.txt selbst. Immer mehr ein Grund gar keine mehr zu verwenden, oder sehe ich das falsch?
23.09.11 um 00:18:10

5. Eduard Bauer

Das gleiche macht Google auch mit der sitemap.xml.
Aber solange es NUR bei der site-Abfrage und nicht direkt in den SERPs auftaucht, ist es doch OK…
24.09.11 um 14:32:30

6. samy

Tante G. ist eine riesen Datenkrake, die (wahllos) einsammelt, was sie auf ihren 24-stündigen Streifzügen durch das WWW findet. Die “armen” Ingenieure müssen dann versuchen, skriptgesteuerte Wege zu finden, damit nur noch die Essenz in die SERPS gelangt. Und weil hier, von unterschiedlichsten Leuten aus der Google-Küche, ständig feingetunt wird, passieren Fehler, mal mehr und mal weniger auffällig. Wobei die Tante-G-Leute leider in der etwas unglücklichen Position sind, ständig den neuesten Maschen der SEO’s hinterherlaufen zu müssen.

Diesesmal hat es nun die robots.txt erwischt, die im sichtbaren Ergebnissen wirklich nichts verloren hat.
28.09.11 um 14:43:02

7. azella

Hatte mich auch schon gewundert wieso meine robots.txt im Google Index erscheint. Hab der Datei per Sitemap aber wenig Relevanz zugeordnet, somit erscheint sie kaum, bzw. sehr weit hinten.
30.09.11 um 12:45:37

8. Mathias

Google scheint mir in letzter Zeit sowieso zu viel “rum zu experimentieren” zb. das ändern des Suchlayouts, kürzung des angezeigten Website Titles und der Description usw.

Ka was die da gerade machen.
05.10.11 um 18:08:02

9. Frank

Hab es jetzt 3 mal gelesen. Habe mir alles angeschaut und bekenne: Ich steh komplett vor böhmischen Dörfern.
07.10.11 um 11:58:36

10. Nils

Das generelle von Google ist m.E., dass einfach keinerlei Anweisungen mehr beachtet werden. Selbst Seiten welche mit noindex im HEAD Bereich einer Seite gekennzeichnet werden, gelangen erst einmal in den Index.

Zwar verschwinden diese nach meinen Beobachtungen wieder mit der Zeit, aber sinnls bleibt es dennoch. Robots.txt, Sitemap & Co. sind nur weiterer Datenmüll im Google Index.

Interessant wird es aber in dem Moment, wenn ich wirklich sensible Daten vor Google aussperren möchte und diese mit einem Mal im Index landen. Wer trägt dafür dann die Schuld?…
22.10.11 um 12:43:47

11. Superdarter

Völliger Blödsinn die robots.txt anzuzeigen. Die sitemap.xml würde ja noch Sinn machen, aber robots.txt bringt doch überhaupt nichts für die Nutzer.
24.10.11 um 12:29:50

12. Jan

Nunja… sensible Daten sollte man nicht öffentlich zugänglich machen… heißt also via login schützen, dann kann auch Google da nich ran…
aber wie erwähnt, Sinn macht es nicht… aber über Sinn und Unsinn kann man zum Thema Google ja mitunter auch ordentliche Streitgespräche entfachen
13.11.11 um 03:35:24

13. Ralf

@superdarter: naja, selbst die sitemap hat nichts im suchindex verloren.

Ansonsten schon traurig, hat wohl wieder ein Azubi basteln dürfen ;)

Lg
Ralf
14.11.11 um 12:36:50

14. Alex

Für die Nutzer ist das überhaupt nicht hilfreich. Die Sitemap macht Sinn aber nicht die Robots.txt
16.11.11 um 00:32:13

15. Daniel

Google Nutzer die Infos zu egal was für einem Thema suchen wollen Informationen sehen. Was wollen die mit einer Robots.txt? Übersicht (Sitemap) gibt absolut Sinn. Googles Sammelwahn nimmt wohl kein Ende…
17.11.11 um 20:53:35

16. marvin

haha…das ist ja echt ein widerspruch in sich. vlt gibt es bald eine art übergeordnete robots.txt, welche die darunterliegenden robot.txt auch noch einmal ausschließt / mit einbezieht :D
01.12.11 um 13:51:16

17. Sitemap.xml und robots.txt aus dem Google Index verbannen

[…] in den Index aufzunehmen. So berichtete zum Beispiel Frank bereits im September darüber: Google & die robots.txt confusion und ich staunte auch nicht schlecht, als ich diese beiden Seiten meiner Domains im Index vorfand. […]
01.12.11 um 16:20:23

18. René

Ich finde auch das zur Zeit etliche Regeln missachtet werden. Wenn G. experimentieren möchte, dann DOCH BITTE nicht öffentlich. Das ist ein äußerst heikles Thema und letztendlich wird im Falle eines Falles niemand von G. die Lasten auf sich Schultern.
15.12.11 um 15:20:21

19. Kettel

Mittlerweile hat sich das Problem ja schon wieder behoben oder? Zumindest habe ich auf der SEOkomm nochj davon gehört…
15.12.11 um 22:52:31

20. Sascha

Ach Google! Es liegt letztlich auch an uns andere Suchmaschinen zu nutzen damit kein Monopol entsteht. Bing beispielsweise ist sicher keine schlechte Alternative. Warum Big G die ohnehin wertlose robots.txt indexiert kann ich mir ebenfalls kaum logisch erklären. Dieses Verfahren macht es Angreifern noch einfacher schüzenswerte Bereiche einer Website zu erkennen.
03.01.12 um 20:29:14

21. Frank

@Kettel

… ich weiß schon, warum ich mir Konferenzen seit über 3 Jahren komplett erspare ;-) Das Thema ist leider immer noch aktuell …
09.02.12 um 15:30:37

22. Spamlinktext entfernt

Gibt es denn eine Lösung zu diesem Problem? Bei meiner Seite ist die Robot.txt und Sitemap auch im Index gelandet. Möchte die aber nicht im Index haben.
Möglichkeiten???
11.02.12 um 14:12:01

23. Frank

@ferienhaus-biberpelz.de
… ich kenne keine sinnvolle Lösung. Außer vielleicht keine robots.txt & sitemap.xml anzulegen ;-)
11.02.12 um 14:54:30

24. Tanja

@Frank und Spamlinktext ;-) – Im Kommentar Nr. 17 ist mein Trackback zu finden. Der führt zu meinem Artikel, der genau die Lösung dafür erklärt.
11.02.12 um 15:01:10

25. Frank

@ Tanja

hatte vor lauter Spamlinktext-Ärger ganz vergessen, dass wir schon dazu kommuniziert hatten, sorry & ein schönes Restweekend ;-)
11.02.12 um 16:16:42

26. Frank

@ Tanja

… witzig, witzig – hab erst jetzt verstanden, dass Du das “EX Crazy Girl” bist & wir schon mal vor Jahren Kommentar-Kontakt hatten …
Was ist denn aus Deinen alten Bloginhalten geworden? Da war doch viel Interessantes dabei, was nun der “Ernährungsberatung” gewichen zu sein scheint?
11.02.12 um 19:03:50

27. Tanja

@Frank: *kicher*, ja, das bin ich. Aufgrund des Panda musste ich einige gewaltige Entscheidungen treffen und arbeite seit Monaten an der Umstrukturierung. Die Artikel sind teilweise auf verschiedene Domains umgezogen. Alles was mit Selbständigkeit und Geld verdienen zu tun hat auf die www.couchcat.de und alles was mit WordPress und Programmierung zu tun hat auf die www.officetrend.de. Auf diesen beiden Domains gehe es mit diesen Themen jeweils dann auch weiter.

Auf der crazytoast.de bleibt dann wohl nur noch der Bereich Ernährung und Sport übrig, plus ein paar andere Kleinigkeiten, sonst habe ich dort bald gar keine Artikel mehr. Bis dato ist der ganze Akt sehr positiv zu werten. Habe mich inklusive “Trennung von Low Performern” von mittlerweile mehr als der Hälfte der Artikel auf der Domain verabschiedet. Besucherzahlen und Visibility sind nur minimal gefallen, bzw. erstes steigt auch schon wieder recht nett an.
11.02.12 um 19:15:46

28. Frank

@Tanja

na denne, drück ich die Daumen, dass sich der Umbau weiter so gut entwickelt … hab die beiden neuen thematisch passenden Domains mal dreist verlinkt … Googler: bitte entweder diskret weg schauen, oder die Links als echte Empfehlung akzeptieren ;-)
12.02.12 um 12:00:04

29. Tanja

Danke :-)

Ich hoffe mit meiner Strategieänderung auf der richtigen Schiene zu sein. Auch aus der Sicht der Risikostreuung macht es mehr Sinn mehrere verschiedene Themenportale zu betreiben, als auf einem alles zu verwursten.