Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt

Деймос
На сайте с 10.09.2008
Offline
138
Деймос
406

Если сделать такой robots.txt - чтобы индексировали только 3 ПС: 


User-agent: Yandex

Disallow: /файл или папка

Host: сайт с www или без www



User-agent: StackRambler

Disallow: /файл или папка



User-agent: Googlebot

Disallow: /файл или папка



User-agent: *

Disallow: /

Будут ли нормально индексировать сайт бот адсенса (Mediapartners-Google) и бегуна (Begun Robot Crawler)

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#1
Деймос:
Будут ли нормально индексировать сайт бот адсенса (Mediapartners-Google) и бегуна (Begun Robot Crawler)

Робот Mediapartners-Google имеет отдельный доступ к страницам, независимый от других агентов Google.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Pakimon
На сайте с 03.09.2007
Offline
49
Pakimon
#2

http://www.google.ru/support/webmasters/bin/answer.py?answer=40360

Тут все...:-)

neznaika
На сайте с 28.06.2006
Offline
356
neznaika
#3
Деймос:
User-agent: * Disallow: /

😂

да-да!

http://robotstxt.org.ru/

Ктулху, привет ;)

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий