Сотни тысяч запросов приходится на Googlebot. Пока что прописал такой запрет:
# Fake Google, Bing, Msn, Slurp
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot|msnbot|Slurp|BingPreview) [NC]
RewriteCond %{REMOTE_HOST} !(google(bot)?\.com|search\.msn\.com|crawl\.yahoo\.net)$ [NC]
RewriteRule .* - [R=403,L]
Это помогло снизить нагрузку и отсечь ботов, но насколько понимаю закрыло доступ и нормальным паукам от Гугла.
Есть решение как отсечь фейковых ботов "Гугла" и разрешить обход страниц для реальных?
https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ruвот айпишники официальных гугл ботов. Остальные можно блочить
Связь со мной:
Телеграм, вайбер: +38 068 766 94 66Почта: searchengines.guru@gmail.com
Здравствуйте, можно пожалуйста список укр площадок в личку?:)
Вы так меняете домены при каждом апе?
Думаю при каждом порезе после апа так как выкарабкаться очень сложно после порезки
У меня была фигня что гугл написал что канокалы не совпадают как ошибку. Потом захожу на страницу в sc нету никакой ошибки и она в индексе. Глюк какой то
так же пару проектов старых инфо
и еще один магазин на отслеживании
по остальным проектам где ведется активная оптимизация -просадка очень слабая или ее вообще нету
примеры
мб где на контент забили выкинуло
Появились сообщения про деиндекс - местами массовый. Много проектов после индексаторов на основе index api
Так же без использования - вот мой тестовый поддомен магазина . Ничего по нему не делается и не продвигается никак. сам зашел в индекс полностью на 99% . Но теперь ситуация такая
Такая же ситуация с интернет магазином(регион укр)
Для начала бы понять как заставить гугл по запросам рабоать. А переписать это на какой то язык уже проблем думаю не будет
