Как только в этом ( /ru/forum/search-engines/yandex ) подразделе возникает ветка Апдейт, где в течение ночи все рассказывают, куда поползли матрасы - значит апдейт. =)
Может быть, просто пессимизирован.
Проверяется самим Яндексом:
http://www.yandex.ru/yandsearch?serverurl=твой_сайт
Если страниц 0 - забанили
Если страниц не 0 - пессимизировали
Большинству брэндов сайты нужны только для отчета перед учредителями/соинвесторами. Те, кто иного мнения, давно уже в TOP1.
Вот что точно знаю, то знаю.
Если у новой CMS лучше с ЧПУ в сравнении со старой - не очень эффективное решение для будущего сайта.
Я бы порекомендовал 301 до тех пор, пока большая часть сайта не переиндексируется. А затем 404 для оставшегося в индексе старья.
что-то у вас ничего не изменилось. =)
CharsetSourceEnc не пробовали закомментировать?
ОФФ - зачем себе жизнь так усложнять?! :p
Ссылку покоцал. Восстановить можно, но при условии, что форум не будет разъезжаться на 2 экрана в ширину. AiK
Это мания величия =)))
Неее, я просто не люблю, когда меня мониторят и парсят посторонние личности ;)
Смотрел для интереса, не приходил ли assessor.yandex.ru и прочие типы из этой ветки:
/ru/forum/96393
<недосмотрел - удалил>
А Яндекс - солидная фирма. И, когда речь идет о доступе к относительно закрытой коммерческой информации, можно было бы самоидентифицироваться не грабберо-подобным клиентом. :-P Переопределить User-Agent, например.
Когда начинают рекурсивно сдирать сайт - обязательно забаню 🍾 Даже если клиент - Mozilla.
ЗЫ: хорошо, что у Perl нет стандартной библиотеки Teleport Pro =)
Ваш сервер в заголовках отдает:
Content-Type: text/html; charset=windows
Это не правильно. Лечится добавлением директивы
AddDefaultCharset windows-1251
в конфигурации сервера Apache (httpd.conf).
Начните с этого.
Еще, на всякий случай, добавьте после всех Disallow: в robots.txt запись Host: www.xxxx.xxx (или без www, если хотите таким видеть основное зеркало) - при неопределенности с индексацией не помешает.
И все-таки рекомендую "прошерстить" логи Апача за последние дни на предмет поведения роботов Яндекса. Из терминала это проще сделать командой:
cat xxxxx-access.log | grep Yandex | less
