Настройка robots.txt

Wordpreser
На сайте с 01.08.2013
Offline
47
331

Есть сайт.

Есть такой формат страниц.

http://Мой_Сайт.ru/soccer/?leagueengine=team&lid=1&sid=2&tid=3

Такие страницы не индексируются, из-за того что они запрещены в файле robots. Так пишет Я.Вебмастер.

Вот сайм robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Host: Мой_Сайт.ru.ru

Sitemap: http://Мой_Сайт.ru/sitemap.xml.gz
Sitemap: http://Мой_Сайт.ru/sitemap.xml

Собственно, где стоит это ограничение?

Данные страницы генерируются плагином, сайт на WP.

S
На сайте с 26.05.2011
Offline
143
#1

может

Disallow: /*?*

B4
На сайте с 27.04.2012
Offline
94
#2
Wordpreser:
Есть сайт.
Есть такой формат страниц.
http://Мой_Сайт.ru/soccer/?leagueengine=team&lid=1&sid=2&tid=3
Такие страницы не индексируются, из-за того что они запрещены в файле robots. Так пишет Я.Вебмастер.
Вот сайм robots.txt



Собственно, где стоит это ограничение?
Данные страницы генерируются плагином, сайт на WP.

В вебмастере есть проверка robots.txt, проверьте и добавьте ваш URL, будет подсказка каким правилом запрещен url

Wordpreser
На сайте с 01.08.2013
Offline
47
#3

Понял, спасибо. А как сделать так чтобы не убирать правило Disallow: /*?* но чтобы добавить к индексации страницы моего формата?

B4
На сайте с 27.04.2012
Offline
94
#4
Wordpreser:
Понял, спасибо. А как сделать так чтобы не убирать правило Disallow: /*?* но чтобы добавить к индексации страницы моего формата?

Добавьте еще одну строку:

Allow: /soccer/*?*

правилу allow дается больший приоритет, по-этому она будет срабатывать там где нужно, в данном случае в папке /soccer/

но все тестите и проверяйте

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий