Форум Поисковые системы Прочие поисковики

Yahoo и другие буржуи озверели? =)

Brutus
На сайте с 06.10.2005
Offline
273
Brutus
1789

Собственно столкнулся с такой проблемой, на одном из моих проектов постоянно тусят тучи робот Гугла, МСН и в особенности яху (уже более 2 месяцев)... если гугл и МСН ограничиваються 30-40 штуками, то Яху балдеет по полной и загоняет до 250-300 ботов одновременно на сайтик :)) а самое главное толку с Яху как с козла молока...

Особенно отчетливо сие видно по форуму, например за вчера был пик (одновременное прибывание) зарегистрирован в 400+ посетителей из которых роботы поисковиков 300+ (с разными IP)

С чем сие может быть связано? никогда с подобным не сталкивался...

A
На сайте с 12.05.2004
Offline
176
alexseo
#1

В robots.txt

User-agent: msnbot

Crawl-delay: 120

User-agent: Slurp

Crawl-delay: 120

Artlight
На сайте с 15.09.2003
Offline
123
Artlight
#2
Brutus:
С чем сие может быть связано?

Это они к атаке на Яндекс готовятся, у меня похожая ситуация :)

Обменяю свой вмр на ваш яд курс 1-1
Brutus
На сайте с 06.10.2005
Offline
273
Brutus
#3
alexseo:
В robots.txt
User-agent: msnbot
Crawl-delay: 120

User-agent: Slurp
Crawl-delay: 120

с этим то все ясно :) не ясно почему они так активизировались...

PFT
На сайте с 09.06.2007
Offline
9
PFT
#4

да, робот от яху особенно зачистил ;-) и траф гад ещё кушает нехило

AVV
На сайте с 31.07.2006
Offline
84
AVV
#5

Это точно, с недавних пор, как будто ддос-атака на рунет идет.

Пришлось утихомирить slurp'а

Crawl-delay: 60

Brutus
На сайте с 06.10.2005
Offline
273
Brutus
#6

Кстати сейчас порылся в статистике нескольких сайтов и...

В общем с момента как Яху так зверски активизировался трафик на всех сайтах стал планомерно расти... конечно пока копейки но все же... (ниже приведено количество переходов конкретно с Yahoo)

Сайт по дизайну интерьеров:

с середины мая по вчера шел планомерный рост с 1-2 человек в день до 20-25...

Сайт по онлайн играм:

с середины мая по вчера рост шел с 1-2 до 30-35 в день...

А не собрался ли Яху штурмовать рунет? может сейчас боты активно индексируют рунет дабы потом вывалить более качественный поиск и далее запустить офф-лайн рекламу?

Яндекс кобласит Помощь в фильтрации ботов Упал доход
Artlight
На сайте с 15.09.2003
Offline
123
Artlight
#7
Brutus:
А не собрался ли Яху штурмовать рунет?
Artlight:
Это они к атаке на Яндекс готовятся

:)

----------

LightLana
На сайте с 28.11.2005
Offline
50
LightLana
#8

Мне бы Ваши проблемы ;) У меня сайт вообще МСНом не индексится. Бот приходит несколько раз за день, но дальше роботс.тхт не идет :(

_2
На сайте с 30.05.2007
Offline
171
_t2
#9
PFT:
да, робот от яху особенно зачистил ;-) и траф гад ещё кушает нехило

Это точно.

Не пойму, с чем связана такая активность? Раньше он был довольно редким гостем...

Но вот отдачи от такой рьяной деятельности - ноль, к сожалению

https://www.icloud.com/sharedalbum/#B0T532ODWrvFWyD // https://www.avito.ru/sankt-peterburg/remont_i_stroitelstvo/petrovich_karta_loyalnosti_spb_vysshaya_liga_spb_3469466637 // https://supportservice.su/petrovich-card/nomer-karty-loyalnosti-petrovich-msk-spb-0.jpg – Карта лояльности Петрович: https://hodstroitelstva.ru/spb/index.php/mortgage-ipoteka/193-petrovich-number-of-the-card-with-maximum-discont-number-card-petrovich

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий