pavel419: meteora, отписал по одному сайту на всякий, при проверке урлов пишет, что в момент обхода был 301-й редирект.
Но есть сайты, где пишет, что была 200-я, вот это больше пугает...но надеюсь, что глюк один, очень похожи вылеты.
У меня, похоже, он взял robots.txt из своих кладовых (версии должно быть около года)
Почему уверен - ТП отписалась, что 16.02 робот получил robots.txt со строкой
Disallow: /page_razdel_01.php*
Организация сайта такова, что порядка 5000 страниц относится к этому разделу и до середины 2014 они были закрыты от индексирования (именно такой строкой - Disallow: /page_razdel_01.php*)
С середины 2014 открыли к индексации, странички влетели в индекс и там находились до 23.02
После чего именно этот раздел ушел из выдачи, а в добавок ко всему в ВМ заново начали перегружаться SITEMAP'ы (я такого не помню - сам не удалял и не добавлял)
dfnsk: У меня такая же ситуация на нескольких сайтах. Уже получил первый ответ от платона - говорят, что в последний обход их робот получил ответ 301 и поэтому убрал из индекса, но сейчас дескать все нормально и через 1-2 апа вернутся страницы.
Можно было бы подумать на глюки хостера, но! В вебмастере в "проверить URL" версия страницы на момент построения ПБ и последняя версия страницы - оба с кодом 200. Плюс массовость таких случаев наводит на мысль, что у них робот глюканул, на самом деле.
На всякий случай, давайте соберем статистику по хостерам у тех, у кого похожий выпад страниц произошел вчера. Может быть реально в нём дело. У меня все пострадавшие сайты - на ihc.ru.
P.S. Но у меня страниц этих вообще в индексе нет. Не ищятся даже по УРЛу.
Выделенный сервер, на IP кроме проекта ничего нет. При обходе роботом 16.02.2015 похоже яшка намудрил и зарезал 50% страниц по левым правилам. Проверяю в роботсе - все разрешено...
Левое меню, вторая строчка "Проверить URL" - вбиваете нужный URL, он появляется в списке нижних в статусе "Обрабатывается". Спустя несколько минут (до 15 минут) статус сменится на "Готово".
Нажимаете на "Готово" (станет активной ссылкой) и появится отчет по проверке.
У меня вывалил такое:
Информация о странице *****************************
на 24.02.2015
Страница исключена роботом. Причина: Документ запрещен в файле robots.txt.
Проверьте текущий ответ сервера. Если страница доступна, при обращении к серверу робот получил код 200 OK, то рекомендуем добавить адрес страницы в инструмент «Сообщить о новом сайте» и дождаться ее индексирования.
Если страница недоступна, при обращении к серверу робот получил код отличный от 200 OK, пожалуйста, обратитесь за помощью к администратору сервера или в службу поддержки хостинга. Информация о том, как помочь роботу быстрее переиндексировать страницу, предоставлена в Помощи.
Версия страницы на момент построения поисковой базы
Дата загрузки: 15.02.2015 10:02:55
HTTP-статус: ОК (200)
Последний обход роботом
Дата загрузки: 15.02.2015 10:02:55
HTTP-статус: ОК (200)
Индексирование
Внешних ссылок на эту страницу: 0
Внутренних ссылок на эту страницу: 0
Вернуться к списку заявок
Хотя страница в роботе открыта, действий с ним в последний год не проводилось, проверил еще раз - подмен/инъекций/прочего не замечено
Dtachkov: Какой то бред. На одном из финансовых сайтов пропали из индекса все "топовые страницы"
Что делать непонятно... Видимых проблем нет... и главное было 776 стало 348
Смотрю по вебмастеру...
Страницы все старые, им больше года...
Мож у кого такая же ситуация?
Попробуйте в ВМ "Проверить URL" какой-нибудь выпавшей страницы. У меня похоже яшин косяк с robots.txt
pavel419: О, еще на одном проекте подобное словил. То-то смотрю, траф на 70% упал.
---------- Добавлено 24.02.2015 в 13:39 ----------
Короче, где-то они нарукожопили, это очевидно. Потому что логики никакой нету.
Братцы, на части региональных поддоменов вышибло один из самых жирных разделов - в загруженных есть, а в поиске 0. Соответственно число страниц в поиске упало почти в 2 раза, трафик соответственно упал еще значительнее. В ВМ проверил через "Проверить URL" - выдал "Страница исключена роботом. Причина: Документ запрещен в файле robots.txt"
Роботс настроен и не трогается уже с год как минимум, остальные разделы - в норме, часть региональных поддоменов не затронуло - так что грешу на яшин косяк.
В ТП писать не хочется, т.к. после предыдущего обращения зафильтровали на пару недель в самое вкусное предновогоднее время
bracs: Т.е. гос. переворот в международном праве это нормально? давайте не будем тянуть енота за хвост, бизнес и политика не должны пересекаться. Просто Гугл этим кидком подмочил свою репутацию как надежного партнера.
Так ведь это не решение Гугла прекратить сотрудничество с вебмастерами в Крыму. Это решение американских властей о запрете сотрудничества с ...
Гугловцы - красавцы, занимающиеся своим делом (поиск, ОС, гаджеты, автонавигация, доступ беднейших стран к интернету и т.д.)
Не Гугл/Виза/Мастеркард придумали этк мороку. Есть решение - они его исполняют
Вы ведь не думаете, что Гуглу больше нечем заняться, как еще и в политику лезть? Это у них в планах 2020, наверное :)
meteora, отписал по одному сайту на всякий, при проверке урлов пишет, что в момент обхода был 301-й редирект.
Но есть сайты, где пишет, что была 200-я, вот это больше пугает...но надеюсь, что глюк один, очень похожи вылеты.
У меня, похоже, он взял robots.txt из своих кладовых (версии должно быть около года)
Почему уверен - ТП отписалась, что 16.02 робот получил robots.txt со строкой
Disallow: /page_razdel_01.php*
Организация сайта такова, что порядка 5000 страниц относится к этому разделу и до середины 2014 они были закрыты от индексирования (именно такой строкой - Disallow: /page_razdel_01.php*)
С середины 2014 открыли к индексации, странички влетели в индекс и там находились до 23.02
После чего именно этот раздел ушел из выдачи, а в добавок ко всему в ВМ заново начали перегружаться SITEMAP'ы (я такого не помню - сам не удалял и не добавлял)
Так что, похоже, косяк у Якова
У меня такая же ситуация на нескольких сайтах. Уже получил первый ответ от платона - говорят, что в последний обход их робот получил ответ 301 и поэтому убрал из индекса, но сейчас дескать все нормально и через 1-2 апа вернутся страницы.
Можно было бы подумать на глюки хостера, но! В вебмастере в "проверить URL" версия страницы на момент построения ПБ и последняя версия страницы - оба с кодом 200. Плюс массовость таких случаев наводит на мысль, что у них робот глюканул, на самом деле.
На всякий случай, давайте соберем статистику по хостерам у тех, у кого похожий выпад страниц произошел вчера. Может быть реально в нём дело. У меня все пострадавшие сайты - на ihc.ru.
P.S. Но у меня страниц этих вообще в индексе нет. Не ищятся даже по УРЛу.
Выделенный сервер, на IP кроме проекта ничего нет. При обходе роботом 16.02.2015 похоже яшка намудрил и зарезал 50% страниц по левым правилам. Проверяю в роботсе - все разрешено...
Написал в ТП, жду чего выдумают :)
У меня прекрасно добавляет..
Добавлять-то он для проверки добавляет, важно, что пишет в результатах проверки.
Похоже мы говорим о немного разных вещах.
ВМ, страница конкретного сайта вида https://webmaster.yandex.ru/site/?host=хххх
Левое меню, вторая строчка "Проверить URL" - вбиваете нужный URL, он появляется в списке нижних в статусе "Обрабатывается". Спустя несколько минут (до 15 минут) статус сменится на "Готово".
Нажимаете на "Готово" (станет активной ссылкой) и появится отчет по проверке.
У меня вывалил такое:
Информация о странице *****************************
на 24.02.2015
Страница исключена роботом. Причина: Документ запрещен в файле robots.txt.
Проверьте текущий ответ сервера. Если страница доступна, при обращении к серверу робот получил код 200 OK, то рекомендуем добавить адрес страницы в инструмент «Сообщить о новом сайте» и дождаться ее индексирования.
Если страница недоступна, при обращении к серверу робот получил код отличный от 200 OK, пожалуйста, обратитесь за помощью к администратору сервера или в службу поддержки хостинга. Информация о том, как помочь роботу быстрее переиндексировать страницу, предоставлена в Помощи.
Версия страницы на момент построения поисковой базы
Дата загрузки: 15.02.2015 10:02:55
HTTP-статус: ОК (200)
Последний обход роботом
Дата загрузки: 15.02.2015 10:02:55
HTTP-статус: ОК (200)
Индексирование
Внешних ссылок на эту страницу: 0
Внутренних ссылок на эту страницу: 0
Вернуться к списку заявок
Хотя страница в роботе открыта, действий с ним в последний год не проводилось, проверил еще раз - подмен/инъекций/прочего не замечено
Какой то бред. На одном из финансовых сайтов пропали из индекса все "топовые страницы"
Что делать непонятно... Видимых проблем нет... и главное было 776 стало 348
Смотрю по вебмастеру...
Страницы все старые, им больше года...
Мож у кого такая же ситуация?
Попробуйте в ВМ "Проверить URL" какой-нибудь выпавшей страницы. У меня похоже яшин косяк с robots.txt
О, еще на одном проекте подобное словил. То-то смотрю, траф на 70% упал.
---------- Добавлено 24.02.2015 в 13:39 ----------
Короче, где-то они нарукожопили, это очевидно. Потому что логики никакой нету.
Братцы, на части региональных поддоменов вышибло один из самых жирных разделов - в загруженных есть, а в поиске 0. Соответственно число страниц в поиске упало почти в 2 раза, трафик соответственно упал еще значительнее. В ВМ проверил через "Проверить URL" - выдал "Страница исключена роботом. Причина: Документ запрещен в файле robots.txt"
Роботс настроен и не трогается уже с год как минимум, остальные разделы - в норме, часть региональных поддоменов не затронуло - так что грешу на яшин косяк.
В ТП писать не хочется, т.к. после предыдущего обращения зафильтровали на пару недель в самое вкусное предновогоднее время
Вижу, что вошли по 10.02 по нескольким проектам
Похоже уборщица нашла включатель/выключатель АПов - у меня по проектам вернулось предыдущее состояние (до 26 января). Какая любопытная тетенька :)
Вот обратно включила - чудо, а не сотрудник!!!
Пошёл апдейт. Новые страницы, написанные после 26 января массово полезли в индекс (несколько минут назад). ☝
Тоже увидел. Живете вы тут, что ли? :)
Т.е. гос. переворот в международном праве это нормально? давайте не будем тянуть енота за хвост, бизнес и политика не должны пересекаться. Просто Гугл этим кидком подмочил свою репутацию как надежного партнера.
Так ведь это не решение Гугла прекратить сотрудничество с вебмастерами в Крыму. Это решение американских властей о запрете сотрудничества с ...
Гугловцы - красавцы, занимающиеся своим делом (поиск, ОС, гаджеты, автонавигация, доступ беднейших стран к интернету и т.д.)
Не Гугл/Виза/Мастеркард придумали этк мороку. Есть решение - они его исполняют
Вы ведь не думаете, что Гуглу больше нечем заняться, как еще и в политику лезть? Это у них в планах 2020, наверное :)
Яндекс умер. Почтим его память.
А не спеши ты их хоронить,
А у них еще здесь дела :)