Форум Поисковые системы Google

Google bot замучал частыми обращениями к несуществующим страницам

NV
На сайте с 30.09.2008
Offline
34
new_vit
766

Получаем ежедневно около 200,000 обращений гугл-бота к несуществующим страницам.

Гугл откуда-то нагенерил себе десятки тысяч некорректных адресов и ходит по ним, невзирая на то, что ему отдаём 404 ошибку.

Пример лог-а (для одной из десятков тысяч страниц):

01.02.2011 00:06:07 66.249.72.246 http://irc.lv/qna/PayPal_принимает_карточки_SEB_visa?status=1&category=186&hided=0&page=9

01.02.2011 00:33:40 66.249.72.77 http://irc.lv/qna/PayPal_принимает_карточки_SEB_visa?status=1&category=238&hided=0&page=34

01.02.2011 00:43:14 66.249.72.233 http://irc.lv/qna/PayPal_принимает_карточки_SEB_visa?status=1&category=222&hided=0&page=21

01.02.2011 00:43:48 66.249.72.229 http://irc.lv/qna/PayPal_принимает_карточки_SEB_visa?status=1&category=242&hided=0&page=14

01.02.2011 01:12:23 66.249.72.101 http://irc.lv/qna/PayPal_принимает_карточки_SEB_visa?status=1&category=226&hided=0&page=82

Корректный адрес страницы выглядит так:

http://irc.lv/qna/PayPal_принимает_карточки_SEB_visa?id=413389

Вопрос: как гугл-боту объяснить, что бы он не ходил на некорректные адреса?

Вариант с "Удалить URL" в webmasters/tools не подходит потому как таких некорректных адресов страниц - десятки тысяч.

Может можно куда-то написать запрос?

EFFENBERG
На сайте с 04.07.2008
Offline
38
EFFENBERG
#1

Мне кажется вряд ли Гугл сам нагенерил эти страницы, скорее всего в скриптах у вас генерятся где-то эти ссылки... чудес на свете не бывает. Найдите ошибку.

И вообще урлы у вас мягко говоря - дурацкие.

КОгда найдете ошибку - перенаправьте на правильные mod_rewrite.

ЧПУ для свойств товара помогите разобраться откуда берутся Баг Google или нет?
NV
На сайте с 30.09.2008
Offline
34
new_vit
#2

Да, на 99.9% мы эти кривые адреса сами нагенерировали. Эту ошибку уже пофиксили как минимум полгода назад. А гугл всё ходит по ним. За яндексом, кстати, такого не замечено.

Vin_cent
На сайте с 22.01.2010
Offline
171
Vin_cent
#3

Пропиши в .htaccess 301-ый редирект на верный урл в зависимости от старого

EFFENBERG
На сайте с 04.07.2008
Offline
38
EFFENBERG
#4
new_vit:
Да, на 99.9% мы эти кривые адреса сами нагенерировали. Эту ошибку уже пофиксили как минимум полгода назад. А гугл всё ходит по ним. За яндексом, кстати, такого не замечено.

Сделайте 301-й редирект с нагенереных(старых) урлов на правильные - это не так уж сложно. Гугл их склеит и все будет тип-топ.

Vin_cent, одновременно написали ) затирать уже не буду

borej
На сайте с 11.08.2008
Offline
202
borej
#5

Удали страниц0 в вебмастертулзе.

все это чушь собачая

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий