Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Роботы поисковиков съедают весь трафик

12
T1
На сайте с 16.01.2006
Offline
101
tim12
1140

У меня за январь роботы поисковиков съели 15 гигобайт трафика, посмотрел по статистике это в основном рамблер и яндекс, как с этим бороться подскажите, запретить их посещение нельзя и так уже ограничел чтобы они неходили в некоторые папки на сайтах, думал можно <META content="10 days" name=REVISIT-AFTER>, вот этим но почитал на форуме и понял что роботы это игнорируют, может можно всетаки снизить частоту их индексации

dark elf
На сайте с 08.11.2006
Offline
11
dark elf
#1

у вас скорей всего все ( много чего ) подгружается с других сайтов, у меня таже фигня, бот яшки седает по 500 метров за заход

"Человечество не останется вечно на земле, но в погоне за светом и временем сначала робко проникнет за пределы атмосферы, а потом завоюет себе всё околосолнечное пространство..." с К.Э. Циолковский
T1
На сайте с 16.01.2006
Offline
101
tim12
#2

Да есть такие сайты и как с этим боротся

T1
На сайте с 16.01.2006
Offline
101
tim12
#3

Но разницы между теми сайтами что подгружаются и теми что не подгружаются, по расходу трафа нет, едят одинаково и у тех и у других, вчера в robots.txt на всех сайтах прописал запрет для рамблера, расход трафика снизился в два раза, но сегодня пришлось это убрать так как это стало помехой для индексации в другой системе

Упал доход Яндекс кобласит Новая модель монетизации для
Калинин
На сайте с 20.06.2006
Offline
310
Калинин
#4
tim12:
У меня за январь роботы поисковиков съели 15 гигобайт трафика,

Удивительно как еще не 15 терабайт...

Запретите сайт к индексации - и всего делов; на фиг он нужен, только траф жрет.😕

Покупка антиквариата: /ru/forum/868704 ()
T1
На сайте с 16.01.2006
Offline
101
tim12
#5

ты везде со своими карявыми советами лезиш, выпей яду может попустит,

я к умным обращался

S
На сайте с 28.10.2005
Offline
319
semenov
#6

Можно несколько улчшить ситуацию: определится какие поисковики нужны и выложить, к примеру, robots вида: 


User-agent: *

Disallow: /



User-agent: Yandex

Disallow:

Host: www.site.ru



User-agent: StackRambler

Disallow:



User-agent: Googlebot

Disallow:

Облегчить код страниц: вынести css, js во внешние файлы, подключить gzip (не все поисковики поддерживают)

Вобщем надо смотреть по ситуации

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
lastadm
На сайте с 15.01.2006
Offline
169
lastadm
#7

Сменить хостинг ...

Изучаем правила форума ()
GC
На сайте с 05.08.2005
Offline
66
garry_chem
#8
dark elf:
у вас скорей всего все ( много чего ) подгружается с других сайтов, у меня таже фигня, бот яшки седает по 500 метров за заход

тоже склоняюсь к такой мысли.

в эпоху начала линкаторов поставил 2-3 штучки себе на сайт.

безобидные скриптики которые тянут инфу для страничек с сайта линкатора.

Яндекс сжирал по 1.5 гига в мес и то держал в индексе не все страницы...

15 Гб /мес явно перебор, если там не 10 разных линкаторов..

:)

seo услуги в Харькове (http://seohelp.ua)
Idi na Rog
На сайте с 14.07.2006
Offline
52
Idi na Rog
#9

Целиком и полностью согласен с lastadm. Это будет лучший вариант - если Вы подберете для себя хостинг с безлимитным тарифом!!! Но 10-15 Гб трафика это , на мой взгляд, более чем странно. ИМХО, меняйте хостинг!!! и будет вам счастье:)

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
ErecDen
На сайте с 21.11.2006
Offline
42
ErecDen
#10
tim12:
У меня за январь роботы поисковиков съели 15 гигобайт трафика, посмотрел по статистике это в основном рамблер и яндекс, как с этим бороться подскажите, запретить их посещение нельзя и так уже ограничел чтобы они неходили в некоторые папки на сайтах, думал можно <META content="10 days" name=REVISIT-AFTER>, вот этим но почитал на форуме и понял что роботы это игнорируют, может можно всетаки снизить частоту их индексации

А сколько страниц на сайте?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий