Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

B
На сайте с 20.12.2011
Offline
14
burbulator
296

подскажите пожалуйста, корректно ли составлен robots.txt?

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-content/cache

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-content/cache

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: bali-baget.ru

User-agent: duggmirror

Disallow: /

User-agent: Mediapartners-Google

Disallow:

Allow: /

Sitemap: http://bali-baget.ru/sitemap.xml

Sitemap: http://bali-baget.ru/sitemap.xml.gz

Dwarfik
На сайте с 11.10.2008
Offline
152
Dwarfik
#1

Сейчас опять начнутся рассуждения, нужно ли дублировать правила для Яндекса)))

ТС, загрузите в панель вебмастера Яши, там можно протестировать файл.

Если бегло глянуть, то:

1) Disallow: /*?* и Disallow: /*? одно и тоже.

2) Disallow: /category/*/* тоже вызывает какие-то сомнения...

3) Disallow: /trackback и Disallow: */trackback, второй вариант включает первый.

Но это только бегло))

6 тип эннеаграммы
Google о крупных файлах Новые стандарты для директивы Яндекс внес изменения в

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий