Странно, почему то другие - могут отранжировать.
Согласно стандарта robots.txt, в этом файле должна находиться хотя бы одна строка Disallow. Это важно.
Что касается, директивы Host, то это то же самое, как <noindex></noindex> - полностью не соответствует стандарту W3C, но, тем не менее, используется Яндексом.
Тега <noindex> в стандарте нет!!!
Директивы Host тоже.
О таких ссылках и идет речь.
Знаете, прочитав мнения, а также оценив, настолько все мы запуганы (или запутаны !!!), что я уже начинаю склоняться к тому, о чем думал с самого начала: закрыть страницы поиска по сайту для Яндекса по типу: Disallow: /search.php, а для остальных оставить.
Несколько не в тему: в свете последних событий, огромное количество народа, вместо того, чтобы работать, развивать и совершенствовать сайты, занимается нервотрепкой и ерундой, решая дурацкие задачи: закрыть страницы поиска по сайту для Яндекса или может быть для остальных оставить, нужен ли роботс.тхт или не нужен, а вдруг он выдает ошибку 302 вместо 301 и что тогда будет и т.д. и .т.п. Неужели так будет теперь всегда?
P.S. Прошу извинить, что не по теме, и не поддерживать это в сообщениях. Просто, уже наболело.
Ну вот, с утра провисела тема почти без ответов, как только написал
сразу пошли ответы. :)
Не только Яндексу, всем остальным поисковикам тоже по-барабану.
Хотя в http-заголовках, при запросе страницы index_100.html, можно будет увидеть. Будет заголовок, поставленный сервером,
Content-Location: index.php
В таком случае, можно пойти еще дальше. Сделать так, что если посетитель зашел по поисковому запросу с Гугля или Рамблера (HTTP_REFERER), его бы автоматически редиректило на Яндекс. :)
Скрипт для проверки роботс.тхт в Яндекс:
robots.txt глазами Яндекса
http://www.yandex.ru/cgi-bin/test-robots
Да уж какие тут наезды. ;)
Спасибо, господа, за ответы.
Допустим, сайт рассказывает о производстве деревянных дверей, и каждая фирма, производящая двери, имеет на сайте страничку с описанием своей продукции.
Посетитель, попавший на страничку фирмы "А" из поисковика, и оказавшейся более релевантной, ознакомится с деятельностью компании, но на страничку фирмы "В" вряд-ли пойдет, поскольку посетитель большей частью ленив и искать на сайте больше ничего не будет. Фирмы "В", "Г", "Д", в таком случае, находятся в состоянии обиженных.
Если бы посетитель попал на сайт, вернее, на страницу внутреннего поиска с запросом "производство деревянных дверей", то он бы обнаружил, что кроме фирмы "А", есть еще и другие фирмы, делающие деревянные двери. И смог-бы выбрать те компании, которые его интересуют.
Я понимаю, что поисковику по барабану, будут обижены фирмы "В", "Г", "Д", или не будут, ему главное - выдать серп. Но, тем не менее, вопрос "являются ли страницы с результатами внутреннего поиска по сайту, открытые для робота, поводом для бана" остается для меня пока открытым.
