Специалисты, не проверите ли robots.txt

12 3
alalat
На сайте с 16.11.2010
Offline
19
1163

Собственно сабж...

Так, как я не особо понимаю тонкостей этого файла (да, читала, изучала, но доходит с трудом. конечно, я понимаю зачем он нужен, просто как его заполнить правильно соображаю плохо), то на сайт залила, то что было предложено, только на свои данные сайта поменяла.

Вот и хотела бы узнать у знающих людей, правильно ли составлен файл?

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Crawl-delay: 5

Host: site.ru

Sitemap: http://site.ru/sitemap.xml.gz

Sitemap: http://site.ru/sitemap.xml

Может что-то подправить надо? Заранее благодарю.

NBSerG
На сайте с 04.09.2010
Offline
134
#1

сайтмап после юзер агента

хост в конце

Изготовление сайтов на Joomla (/ru/forum/726795) Такие деньги можно заработать только здесь!!! (http://goo.gl/k1oTJ) Выиграй Porsche Cayenne! (http://goo.gl/RqHaU)
alalat
На сайте с 16.11.2010
Offline
19
#2
NBSerG:
сайтмап после юзер агента
хост в конце

а это критично? порядок, что, где, за чем следует очень важен?

[Удален]
#3
alalat:
а это критично? порядок, что, где, за чем следует очень важен?

Да. Роботы обрабатывают файл по-строчно.

И каждый робот читает общую секцию - * (все, кроме яндекса) и только свою. Не найдя свой секции - прекращает чтение.

В Вашем случае вы только яндексу показали, Host и Sitemap.

Доступ\запрет к интересующим страницам сайта Вы можете проверить тут, например.

Цахес
На сайте с 15.03.2007
Offline
205
#4
alalat:
Может что-то подправить надо?

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # тоже что и Allow: /

User-agent: Yandex
Allow: # тоже что и Disallow: /
alalat:

Disallow: /*?*
Disallow: /*?

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
alalat
На сайте с 16.11.2010
Offline
19
#5
SeoNizator:
Да. Роботы обрабатывают файл по-строчно.
И каждый робот читает общую секцию - * (все, кроме яндекса) и только свою. Не найдя свой секции - прекращает чтение.

В Вашем случае вы только яндексу показали, Host и Sitemap.

Так, куда точно (между чем и чем) надо поставить host: site.ru и sitmap , чтобы сайт видел и яндекс и гугл?

Цахес
На сайте с 15.03.2007
Offline
205
#6
alalat:
Так, куда точно (между чем и чем) надо поставить host: site.ru и sitmap , чтобы сайт видел и яндекс и гугл?

Пустой перевод строки после директивы "Crawl-delay" ни к чему.

[Удален]
#7
alalat:
Так, куда точно (между чем и чем) надо поставить host: site.ru и sitmap , чтобы сайт видел и яндекс и гугл?

В секции для тех роботов, кому вы хотите показать.

В вашем случае - и * и яндексу.

Советую посмотреть этот файл на других ВП-шных сайтах. Конечно, не со всех надо брать пример (и даже не с большинства), но.. (все ответы в выдаче. Только тссс - никому) ;)

Цахес:
Пустой перевод строки после директивы "Crawl-delay" ни к чему.

Но он ни на что и не влияет.

K
На сайте с 31.01.2001
Offline
737
#8
SeoNizator:
Но он ни на что и не влияет.

Ага, просто следующая директива (Host) не попадет в блок Яндекса, а так ничего :).

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
kimberlit
На сайте с 13.03.2007
Offline
370
#9
SeoNizator:
Но он ни на что и не влияет.

Host вне какой-либо секции работает?

[Удален]
#10
Kost:
Ага, просто следующая директива (Host) не попадет в блок Яндекса, а так ничего
kimberlit:
Host вне какой-либо секции работает?

а разве он вне секции? ;)

Пустая строка ведь не говорит о том, что секция закончилась. Или я не прав (в аглицком не силён)?

UPD.

Да и яндекс тоже говорит:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Т.е. между остальными директивами - допускается.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий