Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robot.txt

L
На сайте с 01.11.2012
Offline
205
limyh
281

вечер добрый.

Мне необходимо проверить файл robots.txt, чтобы он содержал все важные для поисковых систем директивы

то что его просмотреть можно путем вбивания в строку браузера строчки site.ru/robots.txt

Это мне известно.

Но может ли тут кто-то из гуру robots.txt подсказать, все самые важные для поисковых систем директив, которые должны присутствовать в этом файле?

Вот что сейчас имеется в файле robots.txt

User-agent: Yandex

Disallow: /*?_openstat

Disallow: /links.php

Host: site.ru

User-agent: *

Disallow: /*?_openstat

Disallow: /links.php

Sitemap: http://site.ru/sitemap.xml

Все ли здесь есть? может чего-то важного нет, или наоборот?

Не могу найти, что значит /*?_openstat

dissalow это понял что не индексировать, но что такое /*?_openstat нигде не нашел

Градация уровней знаний в SEO: Pre-Junior / Junior / Strong Junior / Pre-Middle / Middle / Strong MIddle / Pre-Senior / Senior / Strong Senior. Я где-то между 3-4 м уровнем. К сожалению. Хочу больше. Мог бы больше.
S
На сайте с 06.08.2008
Offline
130
spiderbuber
#1

Тут есть вся необходимая информация: http://robotstxt.org.ru/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий