Почему Googlebot такой тупой?

iccup
На сайте с 01.05.2016
Offline
195
482
2 недели назад, сделал 301 редирект старого домена на новый. Через nginx сделал все. Была необходимость id новостей поменять, пример /2055-old-url.html редиректит на /1-new-url.html.В логах смотрю - все в порядке, редиректит куда надо, и код ответа сервера 200 на новом урле. Но этот поехавший гуглбот каждый день обходит почти все страницы натыкаясь на 301. А это примерно 100 000 урлов. Представляете? Каждый су*а день он сканирует одно и то же. Почему он уже не поймет значение кода ответа сервера 301 - перемещено навсегда. Или ему crawl бюджет некуда девать?
kimsufi.com ( https://www.kimsufi.com ) очень дешевые и качественные дедики https://clck.ru/gvF9p - антибот, использую уже 3 года.
Александр
На сайте с 17.07.2009
Offline
371
#1
Я три года назад удалил раздел, так он до сих под туда лезет. И каждый раз получает 404.
Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
A2
На сайте с 23.06.2008
Offline
192
#2
А я знал что он своевольничает и на днях убедился в этом на 101% - клал он болт на все директивы, на disallow в том числе. "Я художник - я так вижу" и давай сканировать и жрать все что не надо.
я злой и страшный серый волк я в поросятах знаю толк
LEOnidUKG
На сайте с 25.11.2006
Offline
1723
#3

Нужно просто понимать, что там два разных действия:

1. Собираем всё, что можно и плевать на всё

2. Разбираем эти мусоры говна

Одно с другим не связанны. Поэтому и получается, что может бот заходит на какие-то старые страницы, туда, куда его не просят и т.д. А в итоге иметь вообще 0 в индексе т.к. при разборе этого мусора ничего не понравилось другим алгоритмам.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/
A2
На сайте с 23.06.2008
Offline
192
#4
Только если физически отключить сайт (вообще нет его в сети), то только тогда начинает отрыгивать из своей базы назад все то, что слопал. Причем довольно шустро.
D.iK.iJ
На сайте с 26.05.2013
Offline
225
#5
У меня как-то три года ломился. А потом оказалось, что на сайте ссылка есть на страницу. ))
Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий