У меня, похоже, он взял robots.txt из своих кладовых (версии должно быть около года)
Почему уверен - ТП отписалась, что 16.02 робот получил robots.txt со строкой
Disallow: /page_razdel_01.php*
Организация сайта такова, что порядка 5000 страниц относится к этому разделу и до середины 2014 они были закрыты от индексирования (именно такой строкой - Disallow: /page_razdel_01.php*)
С середины 2014 открыли к индексации, странички влетели в индекс и там находились до 23.02
После чего именно этот раздел ушел из выдачи, а в добавок ко всему в ВМ заново начали перегружаться SITEMAP'ы (я такого не помню - сам не удалял и не добавлял)
Так что, похоже, косяк у Якова
Выделенный сервер, на IP кроме проекта ничего нет. При обходе роботом 16.02.2015 похоже яшка намудрил и зарезал 50% страниц по левым правилам. Проверяю в роботсе - все разрешено...
Написал в ТП, жду чего выдумают :)
Добавлять-то он для проверки добавляет, важно, что пишет в результатах проверки.
Похоже мы говорим о немного разных вещах.
ВМ, страница конкретного сайта вида https://webmaster.yandex.ru/site/?host=хххх
Левое меню, вторая строчка "Проверить URL" - вбиваете нужный URL, он появляется в списке нижних в статусе "Обрабатывается". Спустя несколько минут (до 15 минут) статус сменится на "Готово".
Нажимаете на "Готово" (станет активной ссылкой) и появится отчет по проверке.
У меня вывалил такое:
Информация о странице *****************************
на 24.02.2015
Страница исключена роботом. Причина: Документ запрещен в файле robots.txt. Проверьте текущий ответ сервера. Если страница доступна, при обращении к серверу робот получил код 200 OK, то рекомендуем добавить адрес страницы в инструмент «Сообщить о новом сайте» и дождаться ее индексирования.
Если страница недоступна, при обращении к серверу робот получил код отличный от 200 OK, пожалуйста, обратитесь за помощью к администратору сервера или в службу поддержки хостинга. Информация о том, как помочь роботу быстрее переиндексировать страницу, предоставлена в Помощи.
Версия страницы на момент построения поисковой базы
Дата загрузки: 15.02.2015 10:02:55
HTTP-статус: ОК (200)
Последний обход роботом
Индексирование
Внешних ссылок на эту страницу: 0
Внутренних ссылок на эту страницу: 0
Вернуться к списку заявок
Хотя страница в роботе открыта, действий с ним в последний год не проводилось, проверил еще раз - подмен/инъекций/прочего не замечено
Попробуйте в ВМ "Проверить URL" какой-нибудь выпавшей страницы. У меня похоже яшин косяк с robots.txt
Братцы, на части региональных поддоменов вышибло один из самых жирных разделов - в загруженных есть, а в поиске 0. Соответственно число страниц в поиске упало почти в 2 раза, трафик соответственно упал еще значительнее. В ВМ проверил через "Проверить URL" - выдал "Страница исключена роботом. Причина: Документ запрещен в файле robots.txt"
Роботс настроен и не трогается уже с год как минимум, остальные разделы - в норме, часть региональных поддоменов не затронуло - так что грешу на яшин косяк.
В ТП писать не хочется, т.к. после предыдущего обращения зафильтровали на пару недель в самое вкусное предновогоднее время
Вижу, что вошли по 10.02 по нескольким проектам
Похоже уборщица нашла включатель/выключатель АПов - у меня по проектам вернулось предыдущее состояние (до 26 января). Какая любопытная тетенька :)
Вот обратно включила - чудо, а не сотрудник!!!
Тоже увидел. Живете вы тут, что ли? :)
Так ведь это не решение Гугла прекратить сотрудничество с вебмастерами в Крыму. Это решение американских властей о запрете сотрудничества с ...
Гугловцы - красавцы, занимающиеся своим делом (поиск, ОС, гаджеты, автонавигация, доступ беднейших стран к интернету и т.д.)
Не Гугл/Виза/Мастеркард придумали этк мороку. Есть решение - они его исполняют
Вы ведь не думаете, что Гуглу больше нечем заняться, как еще и в политику лезть? Это у них в планах 2020, наверное :)
А не спеши ты их хоронить,
А у них еще здесь дела :)
