Вопросы представителю Яндекса

Здравствуйте! Для того, чтобы узнать об http-коде 404 со всех таких ссылок, поисковому роботу может потребоваться какое-то время, так как нужно переиндексировать каждую такую страницу. Вы можете ускорить процесс исключения из поиска ссылок с http-кодом 404, запретив их индексирование в файле robots.txt вашего сайта. В таком случае они смогут выпасть из выдачи в течение 1-2 недель. Подробнее о файле robots.txt вы можете прочитать в нашей Справке: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Да тут как бы даже и не про исключение из индекса. Дело в том, что эти страницы в нем и не были. Яндекс их считал как недостаточно качественные, и в индекс брать не хотел. Собственно, вот поэтому, и потому, что этих товаров больше нет у поставщиков, они были удалены. И вот спустя полгода они вдруг появляются в индексе...

И вы кстати упомянули про  robots.txt. Я вот прямо сейчас пытаюсь удалить таким способом еще одну большую пачку ненужных товаров. 3,5 тыс. В правилах у вас макс размер файла 500 кб. Он у меня получился 250. Прошло полторы недели. Яндекс robots.txt не взял. Ну думаю, правила правилами, а наверно большой.  Уменьшил до 1,5 тыс. строк (90 кб), прошла неделя - тоже не взял. Сейчас у меня там уже 500 строчек, пока прошло 4 дня...
Раньше для такого фокуса нужно было пару дней. Теперь что, действительно нужны недели? 

Думаю, здесь потребуется участие ребят из Вебмастера, нужно более подробно разобраться в причинах. Напишите, пожалуйста, им напрямую через форму обратной связи: https://yandex.ru/support/webmaster/troubleshooting.html Они вас уже ждут.

Обещанного три года ждут..

Здравствуйте! Работы ещё ведутся, точных сроков их окончания пока назвать не получится. Следите за новостями в блоге Вебмастера: https://webmaster.yandex.ru/blog Ребята обязательно всё расскажут.

Работа ребят из вебмастера, сегодня заметил, они похоже не знают что такое верстка или это нововведение?

Ответ

Мы проверили ситуацию с запретами в robots.txt вашего сайта.

Сейчас директивы в файле robots.txt, к сожалению, не обрабатываются. Это связано с тем, что в файле указано огромное число директив. Рекомендуем по возможности сократить размер файла до 500 строк.

Основные требования к файлу robots.txt можно прочесть в нашей Справке.

Отдельное спасибо парням за ссылку на справку, где указано ограничение в 500 КБ. Что вообще не тоже самое. В итоге у меня сайт уже месяц без  robots.txt, а вы даете людям опасные советы...
Шо интересно, еще 4 недели назад, убирал через  robots.txt 800 страниц, robots считывался...

Здравствуйте! У меня такая ситуация не воспроизводится. Дело может быть в настройках вашего браузера. Пожалуйста, попробуйте проделать следующие действия:

1. Почистите кэш браузера: https://yandex.ru/support/common/browsers-settings/cache.html
2.  Удалите cookies: https://yandex.ru/support/common/browsers-settings/browsers-cookies.html и https://yandex.ru/support/common/browsers-settings/flash-cookies.html При этом учтите, пожалуйста, что удаление cookies приведёт к тому, что будут удалены другие настройки сайта в браузере, это может доставить дополнительные неудобства.
3. Сбросьте настройки браузера к настройкам по умолчанию.
4.  Отключите все установленные расширения для браузера, в том числе блокировщики рекламы (при необходимости может потребоваться перезапустить браузер).

После этого проверьте результаты поиска, сохраняется ли ситуация? Если да — проверьте, воспроизводится ли она в других браузерах. Сообщите мне, пожалуйста, в каких браузерах она повторилась.

Я рекомендую вам задать дополнительные уточняющие вопросы в том же тикете, так обратная связь с командой получится быстрее. Хочу добавить, что в целом не советую использовать файл robots.txt для постраничного ограничения отдельных страниц. Если необходимо запретить обход отдельных ссылок, для этого можно использовать мета-тег noindex. В robots.txt же в первую очередь стоит запрещать разделы и большие группы страниц по определенному признаку.