Помогоите приручить бота Гугля (жрет кучу трафика)

restall
На сайте с 24.11.2006
Offline
84
702

Добрый день!

У меня есть два сайта мобильой тематики, я поставил плейфоновскую партнерку. Продаю мобильный контент. Проблема состоит в том, что бот ГУГЛЯ жрет очень много трафика, он днями сидит на сайте и не вызалит оттуда, а качает, качает и качает... У меня переворы с трафиком тк соотношения нет 1 к 3, да и трафик не безлимит(20 гиг трафика). Уже на сегодняшний день сожрало 8 к 9 трафика. Кстати боту гугля помогает ВЕБАЛЬТА... Как пососветуете поступить? Можно ли как-то приручить бота, чтобы он не так часто залазил ко мне... ведь я не настачюсь ему трафика... Только не нужно говорить меня хостинг... Тк. только все поменял и только все настроил, сейчас сижу на VDS, раньше был медленный, но анлимит хостинг ...

Спасибо!

Качественные площадки для Ваших статей! (/ru/forum/comment/7404279)
lastadm
На сайте с 15.01.2006
Offline
169
#1
restall:
Только не нужно говорить меня хостинг...

Именно! ... хостинг :) Ну что за бред экономить на ботах :) ... Надо радоваться когда они кушают :)

Изучаем правила форума ()
restall
На сайте с 24.11.2006
Offline
84
#2

Да, радуюсь, но уж очень много он кушает... Видимо прийдется отнисти эти 2 сайта на отдельный анлимит хостинг... Жду еще советов....

hypno
На сайте с 17.07.2006
Offline
110
#3

он у вас во внутренних ссылках заблудился , вы его поймали ! :) а если серьезно смотрите тут

restall
На сайте с 24.11.2006
Offline
84
#4
hypno:
он у вас во внутренних ссылках заблудился , вы его поймали ! :) а если серьезно смотрите тут

Ну, допустим престрожат робота, когда я им отпишу. Робот будет реже заходить. Это оч плохо? Просто трафика с Гуля очень мало, а качает очень много. Абидна ведь... Ну что лучше, писать в суппорт, или потратится на хостинг?

hypno
На сайте с 17.07.2006
Offline
110
#5

как вариант запретите гугль-боту по картинкам индексировать сайт, я не думаю что у вас текста уж ОЧЕНЬ много, вставьте команду crawl-delay. хотя пока гугль ее не поддерживает вроде.

вот пример:

User-agent: Googlebot

Crawl-delay: 10

User-agent: Googlebot-Image

Disallow: /

и в суппорт конечно напишите, от вас ведь не убудет пару строк им чиркнуть ?

А , да, совсем забыл вот http://www.google.com/webmasters/tools/ - там зерегьте ваш сайт и установите скорость индексации на минимум ( в инструментах для вэб-мастеров )

artbars
На сайте с 14.08.2004
Offline
104
#6

Была таже проблемма... по мобильным аксессуарам... пришлось 2 раза для них искать новый хостинг...

P
На сайте с 09.07.2006
Offline
62
#7
restall:
Добрый день!
У меня есть два сайта мобильой тематики, я поставил плейфоновскую партнерку. Продаю мобильный контент. Проблема состоит в том, что бот ГУГЛЯ жрет очень много трафика, он днями сидит на сайте и не вызалит оттуда, а качает, качает и качает... У меня переворы с трафиком тк соотношения нет 1 к 3, да и трафик не безлимит(20 гиг трафика). Уже на сегодняшний день сожрало 8 к 9 трафика. Кстати боту гугля помогает ВЕБАЛЬТА... Как пососветуете поступить? Можно ли как-то приручить бота, чтобы он не так часто залазил ко мне... ведь я не настачюсь ему трафика... Только не нужно говорить меня хостинг... Тк. только все поменял и только все настроил, сейчас сижу на VDS, раньше был медленный, но анлимит хостинг ...
Спасибо!

Скорость сканирования можно уменьшить здесь (уж не знаю насколько она реально уменьшится):

https://www.google.com/webmasters/tools/siteoverview?hl=ru

продажа авто (http://klassno.by), цифровые фотоаппараты (http://klassno.by), сотовые телефоны (http://klassno.by)
OC
На сайте с 02.05.2006
Offline
49
#8

а у меня тоже постоянно что-то индексирует, а в индексе всего 2 страницы, нафиг он тогда каждый день сидит там?

Может это адсенс виноват? но почему все страницы в индексе тогда не появляются?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий