Непосредственно сталкивался. Проблему помогли решить специалисты Яндекса - кроме них, никто не может точно сказать, где же их робота заворачивают.
А с логами от Яндекса локализовали проблему и пнули адресно именно тех, кого надо.
Можете искать тут "нетеоретиков Яндекса" сколько угодно, но даже с хостингом общаться лучше предметно с инфой от поисковика.
Что и требовалось доказать.
Ещё вопросы?
На этом форуме вам точно не расскажут больше о боте Яндекса, чем специалисты Яндекса.
Ждите ответа, они обычно отвечают.. если письмо не слишком кошмарно написано.
Где-то по пути ботов Яндекса блокируют.
Можно списаться с Яндексом, попросить их прислать, где именно робот получает 500 код. Либо ваш хостинг, либо где-то до него.
А что говорит гуглобот и сервисы типа be1.ru?
Иногда и такие поступают, приходится заморачиваться.
Но я не думаю, что топикстартер имел в виду именно такую ситуацию, тут скорее устаревшие правила причина ограничений.
Для некоторых сайтов SEO - это именно брендинг. Им нужно быть по строго определённым запросам и выглядеть в выдаче именно так, как планировалось.
Я честно не знаю, зачем это рассказывать Михе Кузьмину, но мало ли..
Чтоб не гадать, что именно Яндекс вырежет. Кликабельность там, красивые снипеты, брендинг, всё такое.
Впрочем, для части клиентов можно регулярно мониторить снипеты по критичным запросам и править по ходу дела.
То есть запрет на индексацию всех топиков и всех разделов.
Один большой вопрос: нафига?
Какие-то там вручную добавленные куда-то темы явно не заменят почти полностью запрещённого форума.
Насколько помню, "крошки" в снипетах Яндексом формируются автоматически на основе анализа структуры сайта.
Ищите любые упоминания на сайте - в коде, в анкорах, в дескрипшнах и т.п.
Если ничего совсем нет, можно попробовать написать в Яндекс на тему обновления.
п.с.
У гугла есть разметка вторичной навигации, но Яндексом вроде не поддерживается: https://support.google.com/webmasters/answer/185417?hl=ru
Хорошие шансы - по точному вхождению куска текста.
Для всех остальных случаев плохие.
Это именно может быть (когда сайт вылетает из индекса после буквально несколько часов недоступности), но бывает редко. Обычно нормальные сайты просто так не вываливаются всё же.
По работе были и моментальные вылеты, было и зависание отключенного сайта в индексе/выдаче на несколько апдейтов. Не прогнозируется.
