Как бороться с ботами поисковиков?

53

piracy

27 июня 2009, 18:52

897

Хостер отключил мой аккаунт из-за повышенной нагрузки, проанализировав логи, можно сделать вывод, что нагрузку создают поисковые боты.

Причем постоянно сканирует бот какой-то китайской поисковой системы www.baidu.com и разные другие пс, которые мне не нужны.

Как с ними бороться?:)

Альтернативный заработок! Присоединяйтесь! (http://prc.goldline.pro)

222

iren K

27 июня 2009, 18:53

#1

piracy:
Хостер отключил мой аккаунт из-за повышенной нагрузки, проанализировав логи, можно сделать вывод, что нагрузку создают поисковые боты.
Причем постоянно сканирует бот какой-то китайской поисковой системы www.baidu.com и разные другие пс, которые мне не нужны.
Как с ними бороться?:)

в роботсе закройте:

User-Agent: bla_bla

Disallow: /

c уважением Iren

193

stifler_x

27 июня 2009, 18:57

#2

Может не сботами нужно бороться, а с хостером?

60

uptime

27 июня 2009, 18:59

#3

iren K:
в роботсе закройте:

User-Agent: bla_bla
Disallow: /

Не поможет уже обсуждалось, через хетаксесс надо выдавать ошибку боту, по крайней мере сканировать не будет, яху в этом плане вообще заноза

315

El_grapaduro

27 июня 2009, 19:00

#4

Поисковик китайский, а порнуху ищет)))

сорри за оффтоп.

P

53

piracy

27 июня 2009, 19:00

#5

stifler_x:
Может не сботами нужно бороться, а с хостером?

stifler_x, с хостером борюсь как раз таки /ru/forum/241535;page=14:)

piracy добавил 27.06.2009 в 23:02

uptime:
Не поможет уже обсуждалось, через хетаксесс надо выдавать ошибку боту, по крайней мере сканировать не будет, яху в этом плане вообще заноза

Каким образом выдавать ошибку боту?

60

uptime

28 июня 2009, 00:12

#6

piracy:
stifler_x, с хостером борюсь как раз таки /ru/forum/241535;page=14:)

piracy добавил 27.06.2009 в 23:02

Каким образом выдавать ошибку боту?

Почему за Вас должен искать?

http://mastertalk.ru/topic57502.html

A

57

Alepo

28 июня 2009, 09:14

#7

Можно попробовать Crawl-delay в robots.txt.

Sapient InterSocial Submitter (http://sapientsubmitter.com) - ~300 _действующих_ социалок в базе RazorSharp Submitter (http://RazorSharp.su) - ~100 RSS/блогсервисов в базе

60

uptime

28 июня 2009, 09:19

#8

to Kost

Я конечно все понимаю, но человек кнопку личные сообщения не нашел зато нашел весы, впрочем Вам бы этого не знать, ну и люди пошли

P

53

piracy

28 июня 2009, 21:51

#9

uptime:
Почему за Вас должен искать?
http://mastertalk.ru/topic57502.html

Alepo, спасибо за ссылку!🍻

Переиграть и победить: как анализировать конкурентов для продвижения сайта

Яндекс Вебмастер вынес товарные фиды в отдельный раздел