Как приручить гуглбот?

A
На сайте с 12.05.2004
Offline
176
726

Этот зверь жрет трафик в огромных количествах. Хотелось бы как-то его приструнить. На сайте большое количество страниц. Контент постоянно меняется.

saidnavy
На сайте с 22.11.2005
Offline
235
#1

Закрывайте от индексации то, что не подлежит.

robots.txt - способ общения веб мастера с БОТами ПС

UB
На сайте с 13.04.2006
Offline
44
#2

Радоваться надо, что он у Вас часто бывает... ;)

O
На сайте с 30.06.2006
Offline
46
#3

revisit-after?

AN
На сайте с 05.06.2004
Offline
243
#4
Orlangur:
revisit-after?

Все ведущие поисковики давно уже игнорируют :)

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
A
На сайте с 12.05.2004
Offline
176
#5
saidnavy:
Закрывайте от индексации то, что не подлежит.
robots.txt - способ общения веб мастера с БОТами ПС

Совет конечно крайне полезный :), учитывая то, что все что можно уже давно закрыто. Пока есть 2 варианта. Использовать компрессию для общего снижения трафика. И попытаться обмануть бот, отдавая код 304 вместо 200 и старую дату. Есть ли в этом смысл и как это правильно сделать? Неужели никто не сталкивался с такой проблемой?

neznaika
На сайте с 28.06.2006
Offline
356
#6

alexseo, ждите, хотя в вашем аккаунте есть раздел - скорость индекса. У меня за последний месяц свыше млн. хитов на одном сайте наюзал, сейчас вроде на спад пошло.

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.
A
На сайте с 12.05.2004
Offline
176
#7
UAWEB:
Радоваться надо, что он у Вас часто бывает... ;)

Угу, только бот генерирует трафика значительно больше, чем реальные посетители. А таких сайтов планируется запустить много и платить за лишний трафик не хочется.

A
На сайте с 12.05.2004
Offline
176
#8
neznaika:
alexseo, ждите, хотя в вашем аккаунте есть раздел - скорость индекса. У меня за последний месяц свыше млн. хитов на одном сайте наюзал, сейчас вроде на спад пошло.

Если вы имеете в виду Google Webmaster tools, то там выбрано Slower.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий