euhenio, я так понял, что зеркальщик ходит толко на страницы, которые были (или могли быть) проиндексированы основным роботом. Поскольку основной соблюдает robots.txt то и у зеркальщика проблем не будет.
Нет. Имеется в виду, что зеркальщик может ходит на страницы второстепенного зеркала даже если после склейки его закрыть для индексации файлом robots.txt. То есть, строго говоря, зеркальщик будет игнорировать директивы robots.txt для второстепенного зеркала
Я не нарушаю ничьих прав формулируя "Фирма такая-то воры" если у меня есть доказательство того, что украли у меня, и при этом я не просто вывешиваю ярлык, а объясняю, почему я так считаю.
Нарушаете. С доказательствами - в суд. И только суд может решить, действительно ли это доказательства или же филькина грамота. Ибо никто не может быть признан виновным в чем-либо иначе как по решению суда. По крайней мере, в Российской Федерации согласно ее Конституции.
Думаю, Вы преувеличиваете масштабы трагедии. Пока что эта проблема не вышла за пределы обсуждения на этом форуме.
А Вы что, хотите, чтобы вышла? Чтоб Вам почесаться, нужен аршинный заголовок в "Компьютерре" "Робот Яндекса не соблюдает robots.txt"? А вообще, euhenio, прав, дело не в 10-15 страницах, дело в двойном стандарте. Яндекс позволяет себе делать то, за что наказывает других. И оправдания о благородных целях и небольших масштабах содеянного выглядят смехотворно и неубедительно.
Если Вы хотите, чтобы проиндексировался только map.asp без параметров, надо написать в robots.txt
User-Agent: yandex
Disallow: /map.asp?
Может, баннер какой с редиректом в баннерной сетке крутится?
Нет. Имеется в виду, что зеркальщик может ходит на страницы второстепенного зеркала даже если после склейки его закрыть для индексации файлом robots.txt. То есть, строго говоря, зеркальщик будет игнорировать директивы robots.txt для второстепенного зеркала
Если сервер возвращает 404 для какой-нибудь страницы, поисковики ее индексировать не будут
Ну, за редирект банят не автоматом. Приходит модератор, смотрит, что за редирект
При 404-й страницу никто не проиндексирует, поэтому поисковику по барабану, что на этой странице
Именно. Найти слово ведь не значит - выполнить скрипт ;)
Это еще что. Есть еще и такой поддомен: kher.yandex.ru
Что поделать - есть и такая буква :)
Нарушаете. С доказательствами - в суд. И только суд может решить, действительно ли это доказательства или же филькина грамота. Ибо никто не может быть признан виновным в чем-либо иначе как по решению суда. По крайней мере, в Российской Федерации согласно ее Конституции.
А Вы что, хотите, чтобы вышла? Чтоб Вам почесаться, нужен аршинный заголовок в "Компьютерре" "Робот Яндекса не соблюдает robots.txt"? А вообще, euhenio, прав, дело не в 10-15 страницах, дело в двойном стандарте. Яндекс позволяет себе делать то, за что наказывает других. И оправдания о благородных целях и небольших масштабах содеянного выглядят смехотворно и неубедительно.