Рабмлер некорректно распознает URL

12
ET
На сайте с 28.05.2005
Offline
0
1655

Господа.

Несколько дней наблюдаю ситуацию, когда робот Рамблера заходит на сайт, пытается индексировать страницы, однако URL этих страниц он почему-то распознает некорректно.

Пример: в логах значится посетитель с айпишником Рамблера (81.19.66.6). Он пытается обратиться к странице по адресу: http://имясайта.com.ua/teams/motogp250>

Вот этой угловой скобочки в конце адреса быть не должно. Моя ошибка исключена. Все данные хранятся в БД, я делал поиск - таких строк в базе нет.

Подобным образом робот Рамблера пытается обратиться ещё к ряду страниц (у всех угловая скобка в конце), естественно сервер ему говорит, что таких нет, и робот уходит.

С роботом Яндекса таких проблем не возникает, он все индексирует нормально.

Не подскажите ли, в чем могут быть грабли? Может кто-то сталкивался с подобной проблемой? Буду признателен за информацию.

M
На сайте с 20.05.2005
Offline
101
#1

лучше сначало вобратись в суппорт Ра, они или решат проблему или найдут отмазку почему виноваты не они

www.yesgamers.ru - Качай игры бесплатно (http://www.yesgamers.ru/)
D
На сайте с 16.04.2005
Offline
14
#2

Eugene Timashov

А ты значение после href= в кавычки заключаешь?

Персональная территория (http://digs.alfaspace.net)
ET
На сайте с 28.05.2005
Offline
0
#3
Как писал digs
Eugene Timashov
А ты значение после href= в кавычки заключаешь?

:) Заключаю. Я тоже сначала подумал, что где-то я ошибся с HTML. Но повторюсь, все данные хранятся в базе и поиск по ней ничего не дал - нет там таких неправильных URL. Анализ логов показал, что ошибки 404 с подобной проблемой (скобочка на конце) вылазят только при посещении робота Рамблера. Если бы ошибся я, то Яндекс бы тоже рано или поздно добрался бы до таких неправильных ссылок. А он проиндексировал уже 150 страниц и ни разу не "ругулся".

M
На сайте с 20.05.2005
Offline
101
#4

ты про сайт в профиле?

ET
На сайте с 28.05.2005
Offline
0
#5
Как писал majix
ты про сайт в профиле?

Да.

M
На сайте с 20.05.2005
Offline
101
#6

смотри здесь

http://search.rambler.ru/cgi-bin/rambler_search?filter=motorworld.com.ua%2F&limit=15&sort=1

всё нормально распознает

ET
На сайте с 28.05.2005
Offline
0
#7
Как писал majix
смотри здесь
http://search.rambler.ru/cgi-bin/rambler_search?filter=motorworld.com.ua%2F&limit=15&sort=1
всё нормально распознает

Это я видел. ;)

Смущает то, что практически каждый день в логах я вижу штук 10-15 ошибок 404, связанных с роботом Рамблера. Буду следить за темпами индексации. Быть может оно как-то так обойдётся. :D

Nikolai Popkov
На сайте с 07.06.2001
Offline
291
#8

1. кто-то на эти страницы сослался и сослался неправильно

2. кто-то занес страницы в избранное или поменял написание в редакторе (скорее всего случайно) и заходит с созданного файла. Рамблер получает информацию, что по данному адресу есть страница, когда посетитель загружает на ней счетчик Рамблера. Попробуйте сами набрать адрес - там в коде страницы виден счетчик 726238. И только через секунду появляется страница, что сайт не найден. Перестаньте выдавать страницу по этому адресу или уберите из выдаваемой страницы счетчик Rambler.

партнерские программы (http://www.ebanners.ru/viewforum.php?f=7), словарь термины SEO (http://www.ebanners.ru/viewtopic.php?t=548) Форум маркетинг (http://www.reclama.su/) Reclama.Su, обмен ссылками (http://www.ebanners.ru/viewforum.php?f=13), Reklama.SU: контекстная реклама (http://www.reklama.su/) по цене Яндекса+продвижение за результат
ET
На сайте с 28.05.2005
Offline
0
#9
Как писал Nikolai Popkov
Попробуйте сами набрать адрес - там в коде страницы виден счетчик 726238. И только через секунду появляется страница, что сайт не найден. Перестаньте выдавать страницу по этому адресу или уберите из выдаваемой страницы счетчик Rambler.

Дело в том, что сайт построен на CMS и счетчик Рамблера прописан в шаблоне, поэтому он показывается на всех страницах, даже на тех, которые показывают ошибку 404 ("Страница не найдена").

P.S. Я не совсем понял про "ручной набор". Вы имели в виду, чтобы я вручную набрал неправильный адрес в браузере?

M
На сайте с 20.05.2005
Offline
101
#10

именно это

я то ж заметил что если набрать к примеру

http://www.motorworld.com.ua/acwvsdvsvv

рамблер защитает хит на этой странице и отобразит в статистике

не исключено что для поиска новых страниц рама дополнительно использует данные из статитчики, поэту робот мог обращаться не правильно.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий