So richten Sie die robots.txt-Datei für WordPress ein

Lesezeit: 3 Minuten

mAsT3RpEE

[UPDATE 2013]

Ich kann keine maßgebliche Seite mit einem Format für eine robots.txt-Datei für WordPress finden. Ich verspreche, einen auf meiner Website zu unterhalten, aber ich möchte einen hier im Stapelüberlauf haben.

Wenn Sie wissen, was Sie tun, überprüfen Sie bitte den aktuellen Entwurf hier:

http://mast3rpee.tk/?p=127

Alle anderen äußern sich dazu:

robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Sitemap: http://domain.com/sitemap.xml
Crawl-delay: 4

Es gibt einen Stack-Austausch speziell für WordPress – wordpress.stackexchange.com/search?q=robots.txt

– Absoluter Nullpunkt

10. Juni 2013 um 18:18 Uhr
Ich dachte, wir sollten hier auch Antworten behalten?

– mAsT3RpEE

10. Juni 2013 um 19:31 Uhr
Sie können (bis jemand es bewegt). Habe gerade gesagt, dass sie in ihren Boards mehr WordPress-Spezialisten haben. Ich wusste nichts davon, bis ich selbst vor ein paar Wochen ein Problem mit WordPress hatte.

– Absoluter Nullpunkt

10. Juni 2013 um 19:46 Uhr
Dieselbe Frage jetzt auf WordPress SE: wordpress.stackexchange.com/q/102561

– unoder

12. Juni 2013 um 15:24 Uhr

Waqas Ahmed

User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /e/
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://yoursite.com/sitemap.xml

Ich denke, dieser Code ist sehr authentisch für die robots.txt-Datei. Gehen Sie einfach zu Public_HTML und erstellen Sie eine Datei mit robots.txt und fügen Sie den obigen Code ein. Sie können in Ihrem Editor machen, kopieren Sie einfach den obigen Code und fügen Sie ihn in Notpad ein, aber denken Sie daran, dass der Dateiname robots.txt sein sollte, und laden Sie ihn in Ihr public_HTML hoch.

Ich hatte Probleme mit der Verwendung von * in robots.txt-Dateien. Obwohl Google und Bing es unterstützen. Einige Suchmaschinen wie Baidu sind immer noch zweifelhaft in ihrer Unterstützung. Außerdem habe ich festgestellt, dass Sie Ihre Disallow-Tags mit einem nachgestellten / schließen MÜSSEN. Wenn nicht, können Sie Probleme mit Google haben und Ihre Website sogar von Bing entfernen lassen. (dh anstelle von disallow: /wp-content sollten Sie disallow: /wp-content/ verwenden)

– mAsT3RpEE

30. Oktober 2013 um 14:52 Uhr

Wie bei allen Dingen im Bereich SEO ändern sich die Dinge. Ich denke, dass der aktuelle Rat darin besteht, eine sehr minimale robots.txt-Datei zu haben.

Das Ignorieren von wp-admin, wp-includes, wp-content usw. kann Google daran hindern, Seiten korrekt darzustellen, was ihm nicht gefällt.

Sehen Sie sich diesen Artikel von Yoast an: https://yoast.com/wordpress-robots-txt-example/.

inaktiver Benutzer

Erstellen Sie in Notepad eine robots.txt-Datei und laden Sie sie in public_html in CPANEL hoch.

*Denken Sie daran, Ihre Datei Notepad in robots umzubenennen, bevor Sie sie in public_html hochladen

Lieber Mohammed. Das wird nicht funktionieren. Betrachten Sie 000webhost, das Textdateien standardmäßig als “Sicherheitsvorkehrung” deaktiviert.

– mAsT3RpEE

10. September 2013 um 19:21 Uhr

Dan Knauss

Es ist nicht sicher, viel in Ihrem zu blockieren robots.txt Heutzutage versucht einzelnes Google, alle Assets zu laden, um die “mobile Freundlichkeit” zu bestimmen. Zumindest kannst du /wp-admin blockieren. Hier ist eine ausführlichere, aktuelle Antwort auf die Frage im StackExchange-Forum für WordPress.

13119600cookie-checkSo richten Sie die robots.txt-Datei für WordPress ein

#robots.txt #WordPress