У Гугла с индексацией нынче проблемы?

Уже давно такое, тут вот в чем может быть причина. Гугл не сканирует (повторно), страницы сайта, если получает ответ от вашего сервака что ничего не поменялось на вашихстраницах. Типа, если ничего не поменялось, то и нефиг её сканировать.

Смотрите логи сервера и какие коды отдает он отдает гуглу. У меня было именно так.

Имеется ввиду не переиндексация новых страниц

Он вообще не индексирует

Гугл ввел краулинговый бюджет /ru/news/39839

Могу спалить целых 2 варианта, которые пока хоть как-то ускоряют индексацию. Все-равно никто не поверит 😂

============

1. В Google Webmasters в настройках сайта выставляете вручную "Ограничить максимальную скорость сканирования Google" на максимум. Когда кликните, вы увидите, на каком уровне он сейчас для гугла автоматически стоит. Через какое-то время (10-30 мин) добавляете какую-то страницу вручную на индексацию. После этого Google начинает индексировать, и что самое главное, добавлять в индекс по 400-500 страниц в сутки (если сайт более-менее нормальный). Ну, это хоть что-то. Также, если сайт на тысячи страниц, то не добавляйте сразу sitemap.xml. Он видит, что страниц тысячи, и вяло индексирует.

Тут я уже рассказывал /ru/forum/comment/14939181

============

2. Напишите XML-RPC пингатор и пингуйте страницы, которые надо проиндексировать на адрес http://blogsearch.google.com/ping/RPC2. На каждый ping-запрос на сайт приходит googlebot.

Но, тут есть нюанс, он штук 500 страниц добавит в индекс, а потом прекратит. Бот будет заходить, а в индекс не добавлять. Тогда, можно по 100 страниц в день пинговать с разных ip. Но, если уже остановилось добавление в индекс, то все - он не будет больше реагировать.

В таком случае, находите какой-то авторитетный сайт, на котором не закрыты и индексируются редиректы на внешние сайты. Тоесть, по команде site:чужой-домен.com/redirect.php?url=www. видно, что эти редиректы гугл индексирует на том сайте.

Берете, дописываете к редиректу свою страницу и пингуете полный адрес редиректа. Если сайт авторитетный, то ваши страницы сразу залетают в индекс. Но, ограниченное число раз с пингующего ip.

Чередуете такие домены с редиректами и свои ip. Пингуете примерно по 50-100 ссылок с одного ip.

Ну, и наблюдаете результат. Где-то будет, где-то нет. У меня на дорвеях результат есть.

2.1 Как разновидность этого пинга - еще можно пинговать страницы чужих сайтов, которые имеют вот такое http://www.garten-eigenzell.de/link.php?link=vash-domain.com/1/page.html

Также, к обоим методам желательно, чтобы ваш сайт отдавал заголовок Last-Modified: с сегодняшней датой.

Всем удачи. Дерзайте. Потом скажете, помогло или нет :)

Проверял первый вариант на своем сайте. Был кратковременный всплеск, отмеченный на приатаченном файле, но потом все свались в прежним значениям, хотя каждый день добавлялся новый контент и новые страницы в индекс

https://1drv.ms/i/s!AvbIpWvz8iBzifBrLfuc7QOeFWEptw

Разве это всплеск? Всплеск это от 0 до 1000. Эта проблема актуальна для новых сайтов, которые вообще не индексируются - за месяц 300 страниц, если ничего не делать. А если на сайте 10 летней давности что-то всплескнулось, то это не чудо, так и должно быть :)

Если это тот сайт, что я видел, то ему без разницы - без дэоптимизации трафика не будет. Он по-ходу, под фильтром серьезным с 2013 года, судя по semrush. Googlebot ходит даже на забаненные сайты, если что )) Если тупо сменить домен, и залить на него тот сайт - будет больше толк :)

По-моему, краулер здесь не при чем. Сколько времени прошло с момента публикации страниц?