Почему Googlebot такой тупой?

iccup
На сайте с 01.05.2016
Offline
110
457
2 недели назад, сделал 301 редирект старого домена на новый. Через nginx сделал все. Была необходимость id новостей поменять, пример /2055-old-url.html редиректит на /1-new-url.html.В логах смотрю - все в порядке, редиректит куда надо, и код ответа сервера 200 на новом урле. Но этот поехавший гуглбот каждый день обходит почти все страницы натыкаясь на 301. А это примерно 100 000 урлов. Представляете? Каждый су*а день он сканирует одно и то же. Почему он уже не поймет значение кода ответа сервера 301 - перемещено навсегда. Или ему crawl бюджет некуда девать?
kimsufi.com (https://www.kimsufi.com) очень дешевые и качественные дедики
Александр
На сайте с 17.07.2009
Offline
366
#1
Я три года назад удалил раздел, так он до сих под туда лезет. И каждый раз получает 404.
Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
Alex2Fast
На сайте с 23.06.2008
Offline
166
#2
А я знал что он своевольничает и на днях убедился в этом на 101% - клал он болт на все директивы, на disallow в том числе. "Я художник - я так вижу" и давай сканировать и жрать все что не надо.
seo продвижение, seo аудит ➟ личные сообщения
LEOnidUKG
На сайте с 25.11.2006
Offline
1572
#3

Нужно просто понимать, что там два разных действия:

1. Собираем всё, что можно и плевать на всё

2. Разбираем эти мусоры говна

Одно с другим не связанны. Поэтому и получается, что может бот заходит на какие-то старые страницы, туда, куда его не просят и т.д. А в итоге иметь вообще 0 в индексе т.к. при разборе этого мусора ничего не понравилось другим алгоритмам.

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
Alex2Fast
На сайте с 23.06.2008
Offline
166
#4
Только если физически отключить сайт (вообще нет его в сети), то только тогда начинает отрыгивать из своей базы назад все то, что слопал. Причем довольно шустро.
D.iK.iJ
На сайте с 26.05.2013
Offline
181
#5
У меня как-то три года ломился. А потом оказалось, что на сайте ссылка есть на страницу. ))
Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий