Как только в этом ( /ru/forum/search-engines/yandex ) подразделе возникает ветка Апдейт, где в течение ночи все рассказывают, куда поползли матрасы - значит апдейт. =)
T.R.O.N: HoSStiA, Wget - это еще и одна из библиотек перла..... =)
А использование таких вещей, как и sendmail - почти букварные правила.
А Яндекс - солидная фирма. И, когда речь идет о доступе к относительно закрытой коммерческой информации, можно было бы самоидентифицироваться не грабберо-подобным клиентом. :-P Переопределить User-Agent, например.
Shema: wget - это отличная программа (которая кстати умеет подделывать любого user-agent'а, так что банить её особо смысла нет)!
Когда начинают рекурсивно сдирать сайт - обязательно забаню 🍾 Даже если клиент - Mozilla.
ЗЫ: хорошо, что у Perl нет стандартной библиотеки Teleport Pro =)
Еще, на всякий случай, добавьте после всех Disallow: в robots.txt запись Host: www.xxxx.xxx (или без www, если хотите таким видеть основное зеркало) - при неопределенности с индексацией не помешает.
И все-таки рекомендую "прошерстить" логи Апача за последние дни на предмет поведения роботов Яндекса. Из терминала это проще сделать командой:
а как точно узнавать, был ли апдейт?
Как только в этом ( /ru/forum/search-engines/yandex ) подразделе возникает ветка Апдейт, где в течение ночи все рассказывают, куда поползли матрасы - значит апдейт. =)
Может быть, просто пессимизирован.
Проверяется самим Яндексом:
http://www.yandex.ru/yandsearch?serverurl=твой_сайт
Если страниц 0 - забанили
Если страниц не 0 - пессимизировали
seobaby, а кто ж виноват, что бренды свои сайты не двигают? Думают, раз мы бренды, значит нам ПС обязан первое место? ;)
Большинству брэндов сайты нужны только для отчета перед учредителями/соинвесторами. Те, кто иного мнения, давно уже в TOP1.
Вот что точно знаю, то знаю.
Yahoo!, написать правило модреврайт и оставить старые урлы.
Если у новой CMS лучше с ЧПУ в сравнении со старой - не очень эффективное решение для будущего сайта.
Я бы порекомендовал 301 до тех пор, пока большая часть сайта не переиндексируется. А затем 404 для оставшегося в индексе старья.
что-то у вас ничего не изменилось. =)
CharsetSourceEnc не пробовали закомментировать?
да
тут вот приспичило трофима снегири скачать :)
ОФФ - зачем себе жизнь так усложнять?! :p
Ссылку покоцал. Восстановить можно, но при условии, что форум не будет разъезжаться на 2 экрана в ширину. AiK
OFF конечно, но какраз из-за солидности они и считают, что если запрос с их IP, то неважно что там и как запрашивается.
Это мания величия =)))
Есть ощущение, что Вам нравится что-то банить. =)) Вы с яшей в этом очень похожи.
Неее, я просто не люблю, когда меня мониторят и парсят посторонние личности ;)
Если серьезно, к своим проектам, просеиваю частоты и интенсивность запросов + прокси и куки, а не имя агента и т.д.
Смотрел для интереса, не приходил ли assessor.yandex.ru и прочие типы из этой ветки:
/ru/forum/96393
<недосмотрел - удалил>
HoSStiA, Wget - это еще и одна из библиотек перла..... =)
А использование таких вещей, как и sendmail - почти букварные правила.
А Яндекс - солидная фирма. И, когда речь идет о доступе к относительно закрытой коммерческой информации, можно было бы самоидентифицироваться не грабберо-подобным клиентом. :-P Переопределить User-Agent, например.
wget - это отличная программа (которая кстати умеет подделывать любого user-agent'а, так что банить её особо смысла нет)!
Когда начинают рекурсивно сдирать сайт - обязательно забаню 🍾 Даже если клиент - Mozilla.
ЗЫ: хорошо, что у Perl нет стандартной библиотеки Teleport Pro =)
Ваш сервер в заголовках отдает:
Content-Type: text/html; charset=windows
Это не правильно. Лечится добавлением директивы
AddDefaultCharset windows-1251
в конфигурации сервера Apache (httpd.conf).
Начните с этого.
Еще, на всякий случай, добавьте после всех Disallow: в robots.txt запись Host: www.xxxx.xxx (или без www, если хотите таким видеть основное зеркало) - при неопределенности с индексацией не помешает.
И все-таки рекомендую "прошерстить" логи Апача за последние дни на предмет поведения роботов Яндекса. Из терминала это проще сделать командой:
cat xxxxx-access.log | grep Yandex | less