запрет индексации для буржуйских поисковиков

12
S
На сайте с 29.10.2007
Offline
18
877

очень нужен готовый файл robots.txt в котором будет запрещена индексация сайта для буржуйских роботов.

Точнее, для индексации нужно оставить только яндекс, рамблер, русский гугл, русский яху и апорт. остальным запретить индексацию. К сожалению, разбираться нет времени, нужен готовый правильный файл, отблагодарю 100 wmr на шоколад.

заранее спасибо.

S
На сайте с 05.10.2006
Offline
133
#1

User-agent: Googlebot

Disallow: /

User-agent: *

Disallow:

------------------------

запрет для Гуги

S
На сайте с 05.10.2006
Offline
133
#2

Таким же макаром сделай для других.

User-agent: Googlebot

Disallow: /

Просто вместо Googlebot пропиши роботы других, типа Yahoo.

И поставь рядышком.

S
На сайте с 29.10.2007
Offline
18
#3
strekov:
Таким же макаром сделай для других.

User-agent: Googlebot
Disallow: /

Просто вместо Googlebot пропиши роботы других, типа Yahoo.
И поставь рядышком.

спасибо, но не могли бы Вы скинуть полный файл? к тому же мне нужно оставить для индекса русских гугла и яху, а я в этом не волоку совсем...

_
На сайте с 20.10.2006
Offline
197
#4
stomler:
спасибо, но не могли бы Вы скинуть полный файл? к тому же мне нужно оставить для индекса русских гугла и яху, а я в этом не волоку совсем...

stomler, ничего сложного нет:

делаете

User-agent: Агент

Disallow: /

- запретить индексировать сайт

User-agent: Агент

Disallow:

- разрешить индексировать сайт.

База данных по агентам : http://bot.tixit.ru/user_agent/

выбираете агента и указываете можно ли ему индексировать или нет

А готовый файл - это просто напросто текстовик залитый в корень сайта.

Вечные ссылки на качественных англоязычных площадках. (/ru/forum/883099) Результат гарантирую!
S
На сайте с 29.10.2007
Offline
18
#5

у меня как раз проблема с выбором агента. не знаю кто из них кто. мне вот нужно оставить индексацию для русских яху и гугла. а буржуйских яху и гугла запретить. так можно? но какие у них названия?

_
На сайте с 20.10.2006
Offline
197
#6

Я думаю, что под одним. Хотя и не уверен на все 100. А зачем вам вообще такое? запретить бурж?

S
На сайте с 29.10.2007
Offline
18
#7
_aleksey_:
А зачем вам вообще такое? запретить бурж?

да. именно запретить бурж.

что-то вряд ли под одним... как так? тогда весь поисковик, включая и русскую часть не будет индексировать сайт. а русская нужна.

rmikel
На сайте с 25.05.2007
Offline
142
#8

stomler, очень понятный сайт о файле robots.txt - http://robotstxt.org.ru/

stomler:
отблагодарю 100 wmr на шоколад

Оффтоп, strekov, _aleksey_, кому-нибудь достался данный поощрительный приз ? :)

- Здесь (http://www.sape.ru/r.fa62530507.php) становятся богатыми буратинами... и здесь (http://www.mainlink.ru/?partnerid=11422) тоже. ;) - "В жизни нет ничего такого, ради чего стоило бы спешить" (c)то-то сказал.
_
На сайте с 20.10.2006
Offline
197
#9
rmikel:
stomler, очень понятный сайт о файле robots.txt - http://robotstxt.org.ru/
Оффтоп, strekov, _aleksey_, кому-нибудь достался данный поощрительный приз ? :)

Нет, шоколадка еще не разыграна по-ходу:)

_
На сайте с 20.10.2006
Offline
197
#10
stomler:
да. именно запретить бурж.
что-то вряд ли под одним... как так? тогда весь поисковик, включая и русскую часть не будет индексировать сайт. а русская нужна.

просто я думаю что боты одни, по крайней мере представляются как одни (мне так кажется) - а дальше уже на основе контента и его языка делается вывод. А так я считаю что не очень практично иметь разных роботов.

з.ы: и я до сих пор не смог представить зачем вам такой "изврат" нужен

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий