Зачем GoogleBot пытается зайти на несуществующие страницы?

Флюк
На сайте с 27.11.2012
Offline
28
1249

Всем привет.

В логах увидели, что GoogleBot заходит на несуществующие страницы, таких страниц никогда не существовало.

Например:

curl -X GET -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' -H 'Accept-Encoding: gzip,deflate,br' -H 'User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' http://ww.site.com/category/4988

он именно пытается зайти на ww, а не на www. И соответственно попадает на страницу 404

или вот:

curl -X GET -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' -H 'Accept-Encoding: gzip,deflate,br' -H 'User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' http://mobile.site.com/category/4160

и таких логов много, особенно часто он подставляет m. или mobile. к домену

Зачем он это делает, кто-нибудь знает? :popcorn:

slaviktorres
На сайте с 05.12.2010
Offline
183
#1
Флюк:
особенно часто он подставляет m. или mobile. к домену
Зачем он это делает, кто-нибудь знает?

Намекает на адаптацию.

AO
На сайте с 29.01.2011
Offline
78
#2

где-то на сайте или на других сайтах/соц сетях есть на них ссылка

просто так бот по страницам не ходит

slaviktorres
На сайте с 05.12.2010
Offline
183
#3
Ark-of-Truth:
где-то на сайте или на других сайтах/соц сетях есть на них ссылка
просто так бот по страницам не ходит

У меня не было ссылок на такие страницы, сайт совсем молодой был на него вообще не было ссылок, и бот то же искал поддомены с m. и mobile.

LEOnidUKG
На сайте с 25.11.2006
Offline
1577
#4
Ark-of-Truth:
где-то на сайте или на других сайтах/соц сетях есть на них ссылка
просто так бот по страницам не ходит

Ходит. Сразу пробивает мобильную версию по ссылкам как у ТС-а. А потом радостно сообщает, что их нет и там 404 ошибка.

Просто разработчики решили, чтоб, а ВДРУГ там будет мобильная версия и мы сразу о ней узнаем. Мы будем молодцы! Мы будем передовыми ребятами.

Вот и всё.

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
Флюк
На сайте с 27.11.2012
Offline
28
#5

Спасибо.

Наверно действительно где-то есть ссылка с ошибкой "ww"

а подставляя m. и mobile. он пытается обнаружить мобильную версию сайта.

Lor
На сайте с 28.05.2004
Offline
353
Lor
#6

Тестирует на предмет ошибок в динамически генерируемых урлах.

Йопез - форум без модераторов. Даже Гарик уже с нами, а ты? (https://yopez.com)
SilverMaster
На сайте с 08.10.2003
Offline
217
#7

+ еще ищет Soft 404

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
Lor
На сайте с 28.05.2004
Offline
353
Lor
#8
SilverMaster:
+ еще ищет Soft 404

Кстати, задолбал с этим. Если у меня каждые несколько минут контент меняется, накой я должен ставить 404, если контент появится через полчаса?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий