правильный robots.txt для WordPress

5

kachka

11 февраля 2013, 11:43

920

Я понимаю что по этой теме есть много информации и здесь на форуме и в поисковиках, я новичок и по этому не совсем до конца ее понимаю вот решил спросить вашего совета ведь robots.txt для каждого сайта должен быть разным. На своем сайте я использую в навигации только страницы без категорий вот какой robots.txt у меня получился вопрос правильно ли я все сделал:

закрываем от индексации системные папки:

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Allow: /wp-content/uploads/ - открываем для индексации фотографий

закрываем от индексации страницы регистрации и авторизации:

Disallow: /wp-login.php

Disallow: /wp-register.php

закрываем от индексации RSS ленту, trackback и комментарии:

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: */comment-page

закрываем от индексации метки, архивы (в моем случае и категории так как я использую только страницы) и прочий мусор:

Disallow: /category/*/

Disallow: /cgi-bin

Disallow: /20*/*

Disallow: /tag/*

Disallow: /*?

указываем главное зеркало сайта и ссылку на файл sitemap:

Host:

Sitemap:

в итоге получилось:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Allow: /wp-content/uploads

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: */feed

Disallow: /trackback

Disallow: */trackback

Disallow: */comments

Disallow: */comment-page

Disallow: /category/*/

Disallow: /cgi-bin

Disallow: /20*/*

Disallow: /tag/

Disallow: /*?

Host:

Sitemap:

все познания и информация взята с: http://ageta.ru/wordpress/23-nastrojka-i-rabota/110-sostavlyaem-pravilnyj-robots-txt-dlya-cms-wordpress-vordpress

K

5

kachka

11 февраля 2013, 15:39

#1

и что никто не ответит?

370

kimberlit

11 февраля 2013, 16:30

#2

http://help.yandex.ru/webmaster/?id=996567

4 пункт, примечание.

K

5

kachka

11 февраля 2013, 16:50

#3

kimberlit:
http://help.yandex.ru/webmaster/?id=996567
4 пункт, примечание.

так будет правильно?

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: */feed

Disallow: /trackback

Disallow: */trackback

Disallow: */comments

Disallow: */comment-page

Disallow: /category/*/

Disallow: /cgi-bin

Disallow: /tag/

Disallow: /*?

Host:

Sitemap:

A

34

Aspirantspb

17 апреля 2013, 17:23

#4

Я попробовал такой код:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /page/

Disallow: /category/

Disallow: /?cat=*

Disallow: /archive/

Disallow: /author/

Disallow: */trackback/

Disallow: /?s=

Disallow: /tag/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Поскольку проектов двое и оба проекта прикручены к одному сайту. На одном проекте адрес страниц такой http://site/blog/?page_id=9700 а на другом так: http://site/forstudents/page/ Соответственно и категории на одном сайте со знаком вопроса, "?cat=511", а на другом "/category/name/"

370

kimberlit

17 апреля 2013, 17:44

#5

Aspirantspb:
Disallow: /category/
Disallow: /?cat=*

Aspirantspb:
Поскольку проектов двое и оба проекта прикручены к одному сайту. На одном проекте адрес страниц такой http://site/blog/?page_id=9700 а на другом так: http://site/forstudents/page/ Соответственно и категории на одном сайте со знаком вопроса, "?cat=511", а на другом "/category/name/"

И обе директивы не будут работать.

A

34

Aspirantspb

17 апреля 2013, 17:51

#6

kimberlit, а что посоветуете с категориями?

370

kimberlit

17 апреля 2013, 17:54

#7

Aspirantspb:
а что посоветуете?

Читать мануалы по роботсу. Инструкции от корня строятся.

Disallow: /category/

не закроет

http://site/forstudents/category/

и т.д.

1

[Удален]

17 апреля 2013, 18:00

#8

С 2008-го года использую самописный роботс. В индексе никакого мусора.

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /wp-register.php

Disallow: /wp-login.php

Disallow: /xmlrpc.php

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /*?

Disallow: /?*

Disallow: /trackback/

Disallow: */trackback/

Disallow: /feed/

Disallow: */feed/

Disallow: /comments/

Disallow: /category/

Disallow: /page/

Disallow: */comments/

Disallow: /search/

Disallow: /author/

Disallow: /tag/

Disallow: /yabb/*

User-agent: Yandex

Disallow: /category/

Disallow: /tag/

Disallow: /cgi-bin/

Disallow: /yabb/*

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /thems/

Disallow: /img/

Disallow: /page/

Disallow: /xmlrpc.php

Disallow: /?*

Disallow: /*?

Disallow: /wp-trackback/

Disallow: /wp-feed/

Disallow: /wp-comments/

Disallow: /page/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Host: domen.ru

Sitemap: http://domen.ru/sitemap.xml

1

A

34

Aspirantspb

17 апреля 2013, 18:21

#9

Только отмечу, что

Disallow: /*?

Disallow: /?*

выкосит из индекса страницы у тех сайтов, у которых адреса страниц со знаком "?".

A

34

Aspirantspb

15 мая 2013, 06:53

#10

Кстати, как только закрыл категории для индексации, стали медленнее индексироваться новые посты. Так что убрал Disallow: /category/

Курс биткоина превысил $50 тысяч

Что такое Power BI и зачем это нужно бизнесу