Если у меня из кармана будут вытягивать кошелёк, то разве я имею право словить вора, так как ведь за этим стоит такой труд и умение!!! Я так не умею, например.
А почему вы решили, что выдача яндекса - Ваш кошелек?
Одно дело, когда "жалуются" рядовые пользователи - они действительно имеют право. Потому что они "не заинтересованы" - а потому объективны. Когда "жалуется" сеошник - выглядит откровенно беспомощно.
Как "мерзкий дорвейщик" :) соглашусь с этим мнением.
Домены считаются десятками, страницы на них десятками тысяч. Само собой, до отдельных запросов дела нет никакого, и если белый сайт не может обойти дор по запросу - значит у сеошника руки растут не из того места :)
Здесь указано, что робот слушается User-agent: Slurp
У меня ситуация похожая. Русский форум, посетителей с Yahoo, само собой, нет практически на него. При этом бот сидит на форуме безвылазно. Позавчера закрыл от Slurp полностью через роботс - форум пропал из выдачи (site: ), но бот так и ходит, смотрит страницы, как будто 'Disallow: /' для него не указ. Это временно у него - закрыл недавно - или так и будет "шастать"?
значит он все-таки ваш? =)) это общий кошелек вот так вот!
Не надо пожалуйста передергивать мои слова. Это общий "кошелек", именно это я и хотел сказать.
А почему вы решили, что выдача яндекса - Ваш кошелек?
Как "мерзкий дорвейщик" :) соглашусь с этим мнением.
Домены считаются десятками, страницы на них десятками тысяч. Само собой, до отдельных запросов дела нет никакого, и если белый сайт не может обойти дор по запросу - значит у сеошника руки растут не из того места :)
Число delay - в миллисекундах или секундах? А то в бестолковом хелпе яхи даже не сказано, в каких единицах задержка.
У Яхи совсем совести нет? В наглую ходит по страницам форума, как ни в чем не бывало.
Здесь указано, что робот слушается User-agent: Slurp
У меня ситуация похожая. Русский форум, посетителей с Yahoo, само собой, нет практически на него. При этом бот сидит на форуме безвылазно. Позавчера закрыл от Slurp полностью через роботс - форум пропал из выдачи (site: ), но бот так и ходит, смотрит страницы, как будто 'Disallow: /' для него не указ. Это временно у него - закрыл недавно - или так и будет "шастать"?