Проблемы с индексацией сайта

12
G
На сайте с 20.11.2017
Offline
56
1453

Всем привет, просьба помочь в поиске проблемы и ее возможном устранении.

Кратко: сайт плохо индексируется (добавляются новые и старые страницы в индекс). Никаких запрещающих правил для индексации страниц нет, все статьи Яндекс нормально распознает, но Гугл морочит голову уже полгода (после мартовского обновления примерно). Также есть мысль о том, что проблема в Googlebot для смартфонов.

Файл sitemap xml есть, он его обрабатывает нормально, иногда показывает в графе статуса ошибку (Общая ошибка HTTP 403). Не пойму почему.

Смотря старый кабинет вебмастера - и файл роботс через раз виден роботу.

На переобход могу отправить и старый и новый урл, 50/50 что появится в индексе. Все страницы есть в файле sitemap, но некоторые тупо не хочет принимать.

Это может быть какой-то фильтр? Если да, то какой??? Голову уже поломал...

После мартовского обновления срезало 70% трафика, на данный момент восстановлено около 30-40%.

Также наблюдаю уже которую неделю странную тенденцию посещаемости, трафик возрастает и после на 1-3 дня резко падает, после по новой растет и опять падает. Дни разные, сезонных запросов нет, праздников тоже, никакой аналогии не нашел.

Используя оператор site:poddomen.site.ru

В Яндексе: 245

В Гугле: 246

Используя оператор site:site.ru

В Яндексе: 400

В Гугле: 190

С поддоменом никаких проблем нет, есть явная проблема в основном домене...

Скриншоты прикрепляю. Если кто реально знает в чем может быть причина, или знает возможные способы решения - пишите в ЛС, обсудим!!!

Проверка одной из страниц - http://prntscr.com/p2z3q1

Скачки трафика - http://prntscr.com/p2z3ev

romaamor
На сайте с 14.05.2015
Offline
82
#1
Gotheit:
но Гугл морочит голову уже полгода

Так а где карта сайта ? В смысле ботопонятная карта.

G
На сайте с 20.11.2017
Offline
56
#2
romaamor:
Так а где карта сайта ? В смысле ботопонятная карта.

На сайте стоит XML Sitemap от YoastSEO. site.ru/sitemap_index.xml

HW
На сайте с 04.02.2013
Offline
61
#3

Ты не одинок. Только мне не 403 показывало, а 404 и только на amp страницы (проблема решилась отдельным кешем для амп). Скачки трафа как по мне это уже норма, выдачу по несколько раз может перетрушивать. Вот к примеру вчера по одному запросу через вай-фай я в топе, через мобильный интернет за 20+ место. Сегодня ситуация наоборот :)

Skype: vladimir.prokoshin
G
На сайте с 20.11.2017
Offline
56
#4
hello-world:
проблема решилась отдельным кешем для амп)

Можно было бы подумать в эту сторону - но увы, не в моем случае... Есть несколько других сайтов разных тематик. Настройка сайта и сервера = идентична.... На них таких проблем нет.

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#5
Gotheit:
Проверка одной из страниц - http://prntscr.com/p2z3q1

Если запросить индексирование этой страницы, то что происходит?

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
Unlock
На сайте с 01.08.2004
Offline
757
#6

Да поломался Гугл. Я ему сегодня весь день пытался запихнуть карту сайта - фиг там. xml, txt - в упор не хочет грузить, якобы недоступно.

Есть желание, - тысяча способов; нет желания, - тысяча поводов! /Петр-I/.
G
На сайте с 20.11.2017
Offline
56
#7
Ingref:
Если запросить индексирование этой страницы, то что происходит?

Через раз выдает ошибку, и пишет что индексирование возможно при соблюдении определенных условий и дает ссылку на их справку (не по теме короче). Второй раз через час кину - скажет "отправлено на переобход", но в индексе не появится. Так по кругу, определенное кол-во конкретных страниц...

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#8

Проверьте, что при этом в логах сервера при запросе гугл-бота к этой странице происходит.

G
На сайте с 20.11.2017
Offline
56
#9
Ingref:
Проверьте, что при этом в логах сервера при запросе гугл-бота к этой странице происходит.

Как это сделать для гугл бота? Нашел общие логи, но не нашел гугл-ботов. Как я понял нужно искать Googlebot или google.com/bot.html.

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#10

Если в логах нет Googlebot, значит, не заходил он к вам (или сервер недоступен для гуглобота).

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий