Форум Поисковые системы Яндекс

Как правильно сделать файл robots.txt под яндекс

12
Dimoogle
На сайте с 08.01.2007
Offline
100
Dimoogle
1298

Люди, мне нужно сделать робот так, чтобы он запретил доступ всем поисковым паукам, кроме ндексового. Ну то есть, не по определённым разделам а именно запрет доступа пауков всех роботов кроме яндексового. Я склоняюсь к такому варианту:

User-Agent: *

Disallow: /

User-Agent: Yandex

Disallow:

Но меня очень беспокоит то, что первым вариантом я запрещаю индексацию всем роботам, а во втором я якобы разрешаю только яндексу, но не расценит ли яндекс после первого примера якобы сайт запрещён к индексацию, сможет ли паук яндекса понять что я ему разрешаю индексацию. Хотеось бы выслушать знающего человека. Заранее спасибо.

!
На сайте с 24.03.2006
Offline
36
!kas
#1

Вроде все верно


# robots.txt for http://www.site.com

User-Agent: *
Disallow: /cyberworld/map/ # this is an infinite virtual URL space

# Cybermapper knows where to go

User-Agent: cybermapper
Disallow:

В примере 2 закрывается от индексации содержимое директории /cyberworld/map/, однако поисковому роботу cybermapper все разрешено.

Попробуйте провериться сервисом яндекса http://www.yandex.ru/cgi-bin/test-robots

Продажа ICQ (http://www.uinshop.info/)
O
На сайте с 02.06.2006
Offline
67
oldvovk
#2

Должен, тк бот ищет инструкции для себя,

а уже потом считывает общие

Ну а если есть сомнения, выведи инструкции Я. первыми.

T0][@
На сайте с 16.06.2005
Offline
112
T0][@
#3

вот...народ уже думает как закрывать сателлиты от индексации и конкурентов )))

...
ARENDA
На сайте с 21.01.2006
Offline
83
ARENDA
#4
'T0:
[@;2527010']вот...народ уже думает как закрывать сателлиты от индексации и конкурентов )))

И чтобы конкуренты и не догадывались, что у него в беках.:)

У вас не будет второго шанса произвести первое впечатление! ©
[Удален]
#5

robotstxt.org.ru вам в помощь

Хортица
На сайте с 22.12.2006
Offline
289
Хортица
#6

Немного не в тему, но все о роботсе...

как сделать так чтобы всеми ботами не индексировался сайт с www!?

На XBit.Money (https://xbit.money/?rid=111) меняю крипту на гривны. Лучшие курсы Обмен Вашего PayPal/ЯД/QIWI/WebMoney и куча плюшек! Рекомендую (https://exchangex.ru/index.php?who=26749)
Bloody dude
На сайте с 16.03.2006
Offline
68
Bloody dude
#7

Вообще-то, лучше блок для конкретного бота ставить над общим.

Хортица, 301-м редиректом на тот, который нужно индексировать. Только аккуратно надо делать, напакостить крепко можно

Хортица
На сайте с 22.12.2006
Offline
289
Хортица
#8
Bloody dude:
301-м редиректом на тот, который нужно индексировать. Только аккуратно надо делать, напакостить крепко можно

Чуть по подробней можно?!

Prof Seo:
robotstxt.org.ru вам в помощь

Искал ответ на свой вопрос, но так и не нашел :(

Елистратов
На сайте с 21.04.2007
Offline
229
Елистратов
#9
Хортица:
Чуть по подробней можно?!

Ставите 301 редикет с сайта www.sayt.ru на сайт sayt.ru и усе🚬

C уважением, Евгений. Покупаю аккаунты AdSense ()
K
На сайте с 31.01.2001
Offline
737
Kost
#10
Хортица:
как сделать так чтобы всеми ботами не индексировался сайт с www

А можно не редирект, а robots.txt выдавать разный в зависимости от HTTP_HOST. Делается обработкой .txt файлов SSI или PHP.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий