Kann es sein wenn ich in alle header meiner webseiten <meta name="robots" content="index,follow"> schreib das denn zB google die seiten indexiert obwohl sie in der robots.txt verboten worden sind? ist das dann andersrum genauso? sollte man diese metaangabe komplett weglassen? und letzte frage, sollte man nun in der robots.txt verbieten, erlauben oder beides?

http://www.w3.org/Search/9605-Indexing-Workshop/ReportOutcomes/Spidering.txt

Zitat:

Discussion: This tag is meant to provide users who cannot control
the robots.txt file at their sites. It provides a last chance to
keep their content out of search services. It was decided not to
add syntax to allow robot specific permissions within the meta-tag.

\o tanz den naziprau! o/

And more than ever, I hope to never fall,
Where enough is not the same it was before

ok ich hab von woanders schon informationen bekommen, also ich lasse den metatag weg, was er nicht indizieren soll verbiete ich und sonst lass ich es so :)

Ich denke, dass das hier der halbwegs richtige Thread dafür ist...
Quellcode:User-agent: *
Disallow: /memberarea/
Disallow: /admin.html Also in meiner robots.txt verweigere ich den Suchmaschinen bisher nur den Zugriff auf die Memberarea und den Adminbereich. Jetzt erinnere ich mich aber mal gelesen zu haben, dass es nicht unbedingt gut ist super viele Unterseiten von Google indizieren zu lassen, sondern wirklich nur alle wichtigen.

Ist es sinnvoll für eine bessere Suchmaschinenplatzierung (egal wie gering der Effekt sein wird) auch die Zugriffe auf einzelne News ("news_id_[zahl].html") und alle einzelnen Specials ("special_[titel].html") zu verweigern? Die Specials brauchen ja eh nicht indiziert werden, weil da kein indizierbarer Text, sondern nur Bilder drin sind. Und alle News sind entweder über die "news.html" oder mindestens über die "news_archiv.html" zu erreichen... von würde Google den Inhalt der News ja noch finden. Wäre das so also besser bezüglich der SEO?

Quellcode:User-agent: *
Disallow: /memberarea/
Disallow: /admin.html
Disallow: /news_id_
Disallow: /special_

Ist deine Member-Area überhaupt auf der Seite verlinkt?

Ansonsten hast du hier einen negativen effekt, nämlich dass ein potentieller Angreifer dadurch die URL eines Member / Adminbereichs kennt.

Rambo Engineer @ Drippy's 2fort - finest TFC 1.5 || Bild Upload || The world's most advanced open source database

Die Memberarea ist ganz easy in der Hauptnavi verlinkt. Ein Link zum Adminbereich ist etwas versteckt, aber nur optisch - quelltextmäßig auch einfach zufinden. Aber die hat per PHP-Script eine Passwortabfrage drin...