Форум Сайтостроение Веб-строительство

Вопрос по роботс.тхт

12
D
На сайте с 28.06.2008
Offline
1114
Dram
946

Господа хочу закрыть сайт от левых ботов для снижения нагрузки. Есть два вопроса:

1. Есть ли свой паук у мейл.ру?

2. Можено ли перечислять пауков в графе User-agent: через запятую?

Я пока прописал так:

User-agent: Yandex

Disallow: .....

.....

блабла

User-agent: Googlebot

Disallow: .....

.....

блабла

User-agent: StackRambler

Disallow: .....

.....

блабла

User-agent: *

Disallow: /

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#1
Dram:
Господа хочу закрыть сайт от левых ботов для снижения нагрузки.

Боты, создающие нагрузку, не пользуются правилами роботса, поэтому - это путь в некуда.

Dram:
2. Можено ли перечислять пауков в графе User-agent: через запятую?

Нет

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
D
На сайте с 28.06.2008
Offline
1114
Dram
#2

Ну хотя бы от msn вебальты и прочих диназавров....

У майла нет своего паука?

WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#3

Директива Crawl-delay:

http://help.yandex.ru/webmaster/?id=996567#1022359

D
На сайте с 28.06.2008
Offline
1114
Dram
#4

про это знаю и использую, но к сожалению не Яндексом единым жив РУнет

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#5
Dram:
Ну хотя бы от msn вебальты и прочих диназавров....
У майла нет своего паука?

если они создают нагрузку - или с цмс проблемы или с хостом.

Если иногда и бывают нагрузки, то от гугла и яши. Остальные - как от юзера.

D
На сайте с 28.06.2008
Offline
1114
Dram
#6

И ВСЕЖЕ :) ЕСТЬ ЛИ У МАЙЛА СВОЙ БОТ???

CrewHS
На сайте с 05.08.2007
Offline
31
CrewHS
#7
И ВСЕЖЕ ЕСТЬ ЛИ У МАЙЛА СВОЙ БОТ???

Да, есть!

http://www.pkgid.ru/index.php?name=News&op=printe&id=274

У нас всегда можно добавить строительную фирму (http://lobzikov.ru/catg.html) бесплатно.
vlasoff
На сайте с 31.08.2007
Offline
101
vlasoff
#8
Dram:
И ВСЕЖЕ :) ЕСТЬ ЛИ У МАЙЛА СВОЙ БОТ???

http://go.mail.ru/help_robots.html

и ещё вот материал по теме:

/ru/forum/587176

http://lanceon.livejournal.com/32039.html

CrewHS
На сайте с 05.08.2007
Offline
31
CrewHS
#9

Доступ разграничивать через .htaccess

order allow,deny

SetEnvIfNoCase User-Agent "ТУТ_УКАЗАТЬ_ЮЗЕР-АГЕНТ_БОТА_НА_АНГЛ" bot

allow from all
deny from env=bot
D
На сайте с 28.06.2008
Offline
1114
Dram
#10
vlasoff:
http://go.mail.ru/help_robots.html

и ещё вот материал по теме:

/ru/forum/587176
http://lanceon.livejournal.com/32039.html

Спасибо за ответ, а то некторые вместо ответа любят в репу насрать....

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий