Согласно стандарта robots.txt, в этом файле должна находиться хотя бы одна строка Disallow. Это важно.
Что касается, директивы Host, то это то же самое, как <noindex></noindex> - полностью не соответствует стандарту W3C, но, тем не менее, используется Яндексом.
Aspid: тут такое творится, в свете последних апдейтов, что все в основном догадками обмениваются.
Знаете, прочитав мнения, а также оценив, настолько все мы запуганы (или запутаны !!!), что я уже начинаю склоняться к тому, о чем думал с самого начала: закрыть страницы поиска по сайту для Яндекса по типу: Disallow: /search.php, а для остальных оставить.
Несколько не в тему: в свете последних событий, огромное количество народа, вместо того, чтобы работать, развивать и совершенствовать сайты, занимается нервотрепкой и ерундой, решая дурацкие задачи: закрыть страницы поиска по сайту для Яндекса или может быть для остальных оставить, нужен ли роботс.тхт или не нужен, а вдруг он выдает ошибку 302 вместо 301 и что тогда будет и т.д. и .т.п. Неужели так будет теперь всегда?
P.S. Прошу извинить, что не по теме, и не поддерживать это в сообщениях. Просто, уже наболело.
AirX: одному моему сайту лично не дают.. 3-4% это не цифра
В таком случае, можно пойти еще дальше. Сделать так, что если посетитель зашел по поисковому запросу с Гугля или Рамблера (HTTP_REFERER), его бы автоматически редиректило на Яндекс. :)
Допустим, сайт рассказывает о производстве деревянных дверей, и каждая фирма, производящая двери, имеет на сайте страничку с описанием своей продукции.
Посетитель, попавший на страничку фирмы "А" из поисковика, и оказавшейся более релевантной, ознакомится с деятельностью компании, но на страничку фирмы "В" вряд-ли пойдет, поскольку посетитель большей частью ленив и искать на сайте больше ничего не будет. Фирмы "В", "Г", "Д", в таком случае, находятся в состоянии обиженных.
Если бы посетитель попал на сайт, вернее, на страницу внутреннего поиска с запросом "производство деревянных дверей", то он бы обнаружил, что кроме фирмы "А", есть еще и другие фирмы, делающие деревянные двери. И смог-бы выбрать те компании, которые его интересуют.
Я понимаю, что поисковику по барабану, будут обижены фирмы "В", "Г", "Д", или не будут, ему главное - выдать серп. Но, тем не менее, вопрос "являются ли страницы с результатами внутреннего поиска по сайту, открытые для робота, поводом для бана" остается для меня пока открытым.
Другое дело, что Яндекс, как он пишет, не может отранжировать результаты.
Странно, почему то другие - могут отранжировать.
Согласно стандарта robots.txt, в этом файле должна находиться хотя бы одна строка Disallow. Это важно.
Что касается, директивы Host, то это то же самое, как <noindex></noindex> - полностью не соответствует стандарту W3C, но, тем не менее, используется Яндексом.
Тега <noindex> в стандарте нет!!!
Директивы Host тоже.
А если ссылки что нить типа http://сайт/nokia-8800/
О таких ссылках и идет речь.
тут такое творится, в свете последних апдейтов, что все в основном догадками обмениваются.
Знаете, прочитав мнения, а также оценив, настолько все мы запуганы (или запутаны !!!), что я уже начинаю склоняться к тому, о чем думал с самого начала: закрыть страницы поиска по сайту для Яндекса по типу: Disallow: /search.php, а для остальных оставить.
Несколько не в тему: в свете последних событий, огромное количество народа, вместо того, чтобы работать, развивать и совершенствовать сайты, занимается нервотрепкой и ерундой, решая дурацкие задачи: закрыть страницы поиска по сайту для Яндекса или может быть для остальных оставить, нужен ли роботс.тхт или не нужен, а вдруг он выдает ошибку 302 вместо 301 и что тогда будет и т.д. и .т.п. Неужели так будет теперь всегда?
P.S. Прошу извинить, что не по теме, и не поддерживать это в сообщениях. Просто, уже наболело.
Ну вот, с утра провисела тема почти без ответов, как только написал
сразу пошли ответы. :)
яндексу это по-барабану
Не только Яндексу, всем остальным поисковикам тоже по-барабану.
Хотя в http-заголовках, при запросе страницы index_100.html, можно будет увидеть. Будет заголовок, поставленный сервером,
Content-Location: index.php
одному моему сайту лично не дают.. 3-4% это не цифра
В таком случае, можно пойти еще дальше. Сделать так, что если посетитель зашел по поисковому запросу с Гугля или Рамблера (HTTP_REFERER), его бы автоматически редиректило на Яндекс. :)
Скрипт для проверки роботс.тхт в Яндекс:
robots.txt глазами Яндекса
http://www.yandex.ru/cgi-bin/test-robots
напишите свой вопрос сюда addurl@yandex.ru
это тех поддержка, 2 совета
1. писать спокойно без наездов
Да уж какие тут наезды. ;)
Спасибо, господа, за ответы.
Да и зачем вам это? Раздуть объем сайта?
Допустим, сайт рассказывает о производстве деревянных дверей, и каждая фирма, производящая двери, имеет на сайте страничку с описанием своей продукции.
Посетитель, попавший на страничку фирмы "А" из поисковика, и оказавшейся более релевантной, ознакомится с деятельностью компании, но на страничку фирмы "В" вряд-ли пойдет, поскольку посетитель большей частью ленив и искать на сайте больше ничего не будет. Фирмы "В", "Г", "Д", в таком случае, находятся в состоянии обиженных.
Если бы посетитель попал на сайт, вернее, на страницу внутреннего поиска с запросом "производство деревянных дверей", то он бы обнаружил, что кроме фирмы "А", есть еще и другие фирмы, делающие деревянные двери. И смог-бы выбрать те компании, которые его интересуют.
Я понимаю, что поисковику по барабану, будут обижены фирмы "В", "Г", "Д", или не будут, ему главное - выдать серп. Но, тем не менее, вопрос "являются ли страницы с результатами внутреннего поиска по сайту, открытые для робота, поводом для бана" остается для меня пока открытым.