Робот Яндекса

M
На сайте с 19.04.2005
Offline
94
mvo
981

Каждый день на сайт заходит робот яндекса и обращается к странице

site.ru/go/

Такой страницы на сайте нет.

Может кто подскажет, что это такое?

Torio
На сайте с 25.06.2005
Offline
124
#1

у Вас случайно поиска на сайте нет? По ссылкам? ;)

Бывает веб-мастер добавляет страницу с найденной ссылкой для ускорения появления бэк-линка.

Т.е. яндексу скармилвается что-то типа site.ru/go/bla-bla-bla...

Или это не Ваш случай?

С уважением, Виктор. Тел: (905) 610-95-80
a1333
На сайте с 25.06.2005
Offline
137
#2

Ну что же Вы хотите, думаете у роботов не бывает задвигов? :)

Что это - не знаю, но можно попробовать запретить этот адрес в роботс.тхт или наоборот туда подсунуть что-нибудь, например, редирект на нужную страницу.

Профессиональный аудит интернет-магазинов ICQ: 366-240-630
Spectre
На сайте с 26.09.2005
Offline
145
#3
mvo:
Каждый день на сайт заходит робот яндекса и обращается к странице
site.ru/go/
Такой страницы на сайте нет.
Может кто подскажет, что это такое?

Может Яша ссылку на нее где-нибудь нашел? Я имею ввиду чужие сайты...

То что вы еще в топе, не ваша заслуга, а наша недоработка. (С) Платон Щукин.
M
На сайте с 19.04.2005
Offline
94
mvo
#4
у Вас случайно поиска на сайте нет? По ссылкам?
Бывает веб-мастер добавляет страницу с найденной ссылкой для ускорения появления бэк-линка.

На сайте всего две страницы. Главная и страница с контактами.

можно попробовать запретить этот адрес в роботс.тхт или наоборот туда подсунуть что-нибудь

меня больше интересует, что происходит! зачем яндексу каждый день заходить на 404-ю страницу?!

Может Яша ссылку на нее где-нибудь нашел? Я имею ввиду чужие сайты...

На данный момент такой ссылки нет.

Spectre
На сайте с 26.09.2005
Offline
145
#5
mvo:
На данный момент такой ссылки нет.

Допускаю такой вариант:

робот ссылку нашел, страницу в базу добавил.

Потом ссылка исчезла, робот ее убрал, но страницу уже внес в базу, а страницу никак не удалит из базы (заело что-то).

M
На сайте с 19.04.2005
Offline
94
mvo
#6
заело что-то

Может есть более разумне объяснение?

Пока не ясно.

робот ссылку нашел, страницу в базу добавил.

Нельзя добавить в Я страницу с кодом ошибки 404. Вот в чем дело.

[Удален]
#7

mvo, Конкуренты пытаются сбить вас с толку, и не давать спать по ночам. Вот и ходят на одну и ту же страницу, представляясь роботом Яндекса...

Офф: все же поразительно, что людей волнует. Если я назовусь "FBI Robocop 2398281.childpornchecker.203012930" и буду каждый день пингать Ваш сайт, что случится?)

Просьба не принимать как попытку обидеть, просто, ИМХО, это на самом деле мелочь, из-за которой даже заморачиватья не стоит.

JR
На сайте с 22.03.2005
Offline
263
#8
mvo:
меня больше интересует, что происходит! зачем яндексу каждый день заходить на 404-ю страницу?!

Может он проверяет правильность выдачи 404-й ошибки?

M
На сайте с 19.04.2005
Offline
94
mvo
#9

Похоже я разгадал загадку.

При попытке добавить url в базу яндекса, робот смотрит статус страницы.

Похоже чей-то линкообменный скрипт яро пытается добавить эту страницу в базу. Появление этого урла в базе какого-нить каталога я вполне допускаю. Допускаю на 99%.

Отсюда и отметка о заходе робота.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий