Это не шок. это пи##ец, простите за выражение... Аффтар плакалъ, почти что. Заметил, что вчера, посещаемость упала. Сначала подумал, что может топ.майл гребет. Вечером смотрю, такая же хрень. Сразу почуял что-то неладное, а именно, что с поисковика нет народа. Запускаю Сайт-Аудитор , а там вместо 42000 страниц, 215... Я чуть со стула не упал.
Сайт - форум. К индексации только архив. Все было замечтательно. Никаких запрещенных способов не делалось, лишь оптимизация архива для поисковика. На протяжении месяцев 3-х Яша наиндексил вот такую кучку страниц, а теперь они улетели в трубу. Написал в суппорт, вот жду ответа.
На бан не похоже, тогда бы раньше забанили уже, если бы что-то было не так. ТИЦ остался, ссылки остались, да и при бане кол-во страниц = 0. На лицо какой то нереальный глюк или сбой.
Хотя, тоже не ясно. У народа вылетали сайты 21-22, у меня вылетел 6-7.
Был домен x.x.ru , он раньше редиректил на x-x.ru, в рамблере был бардак, т.к. x.x.ru не был удален. Поставил на удаление, после некоторых перестроек x-x.ru и x.x.ru. x-x.ru удалился, x.x.ru нет... уже в течение 2-х месяцев эта ##ля. По адресу x.x.ru доступен robots.txt, который запрещает рамблеру все, да и сейчас все страницы выдают на том домене 403, т.к. никакого редиректа нет.
Когда эта сволочь сподобиться удалить старые страницы на старом домене? Или не ждать, разрешить индексацию содержимого по домену x-x.ru , а на то наплевать и ждать, когда все таки он удалит старые страницы?
Писал в суппорт, отвечают раз в месяц, и ничего толком не говорят. Типа проверьте роботс, потом еще какую-нить херню. В общем - ЗОЛ! 😡
Ебстественно:
User-agent: Yahoo! Slurp
Disallow: /
Но, для ускорения, на Яху чтоли нет ссылки remove, как на Рамблере, Яндексе?
А как запустить процесс удаления себя из Yahoo? Не нашел линк на remove.
SiriuS, вероятно тебе надо уже как-то самому парсить урл, и выводить поисковику то, что ему нужно видеть.
Вопрос к Оллу, повторно
Как мне запретить доступ к индексации основного форума и направить поисковики в архив? Запрещать всевозможные ссылки через роботс, оставив путь только в архив?
А с поисковиками что скажите?
И еще, в каталоге архив у меня лежит robots.txt
User-Agent: *
Allow: /
Нужен ли он там, вообще?
