Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt

I
На сайте с 11.04.2013
Offline
31
Ikary
308

Здравствуйте!

Подскажите, правильно ли составлен робот для Яндекс?

Создавался для общей индексации и блокировки указанных в нем урлов

Вот сам код:

User-agent: Yandex

Host: yogamir.ru

Disallow: http://yogamir.ru/yogamir5/20-10-2011151.html

Disallow: http://yogamir.ru/yogamir2/22-08-2011124.html

Disallow: http://yogamir.ru/yogamir2/01-07-201192.html

Disallow: http://yogamir.ru/yogamir5/17-01-201114.html

Disallow: http://yogamir.ru/yogamir5/05-05-201172.html

Disallow: http://yogamir.ru/yogamir4/13-06-201191.html

Disallow: http://yogamir.ru/yogamir5/06-12-2011176.html

Disallow: http://yogamir.ru/yogamir4/23-01-201112.html

Disallow: http://yogamir.ru/yogamir1/16-10-2011155.html

Disallow: http://yogamir.ru/yogamir5/08-03-201143.html

Disallow: http://yogamir.ru/yogamir3/12-01-201110.html

Disallow: http://yogamir.ru/yogamir2/22-05-201166.html

Disallow: http://yogamir.ru/yogamir5/14-01-201111.html

Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html

Disallow: http://yogamir.ru/yogamir5/06-03-201140.html

Disallow: http://yogamir.ru/yogamir5/06-03-201140.html

Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html

Disallow: http://yogamir.ru/yogamir5/14-01-201111.html

Disallow: http://yogamir.ru/yogamir1/15-03-201138.html

Disallow: http://yogamir.ru/yogamir3/10-07-2011104.html

Disallow: http://yogamir.ru/yogamir3/14-08-2011122.html

Disallow: http://yogamir.ru/yogamir2/16-07-2011103.html

Disallow: http://yogamir.ru/yogamir4/06-09-2011135.html

Disallow: http://yogamir.ru/yogamir4/27-12-2011194.html

Заранее, спасибо!

anebilitsa
На сайте с 07.02.2012
Offline
167
anebilitsa
#1
Ikary:
Здравствуйте!

Подскажите, правильно ли составлен робот для Яндекс?

Создавался для общей индексации и блокировки указанных в нем урлов
Вот сам код:

User-agent: Yandex
Host: yogamir.ru
Disallow: http://yogamir.ru/yogamir5/20-10-2011151.html
Disallow: http://yogamir.ru/yogamir2/22-08-2011124.html
Disallow: http://yogamir.ru/yogamir2/01-07-201192.html
Disallow: http://yogamir.ru/yogamir5/17-01-201114.html
Disallow: http://yogamir.ru/yogamir5/05-05-201172.html
Disallow: http://yogamir.ru/yogamir4/13-06-201191.html
Disallow: http://yogamir.ru/yogamir5/06-12-2011176.html
Disallow: http://yogamir.ru/yogamir4/23-01-201112.html
Disallow: http://yogamir.ru/yogamir1/16-10-2011155.html
Disallow: http://yogamir.ru/yogamir5/08-03-201143.html
Disallow: http://yogamir.ru/yogamir3/12-01-201110.html
Disallow: http://yogamir.ru/yogamir2/22-05-201166.html
Disallow: http://yogamir.ru/yogamir5/14-01-201111.html
Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html
Disallow: http://yogamir.ru/yogamir5/06-03-201140.html
Disallow: http://yogamir.ru/yogamir5/06-03-201140.html
Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html
Disallow: http://yogamir.ru/yogamir5/14-01-201111.html
Disallow: http://yogamir.ru/yogamir1/15-03-201138.html
Disallow: http://yogamir.ru/yogamir3/10-07-2011104.html
Disallow: http://yogamir.ru/yogamir3/14-08-2011122.html
Disallow: http://yogamir.ru/yogamir2/16-07-2011103.html
Disallow: http://yogamir.ru/yogamir4/06-09-2011135.html
Disallow: http://yogamir.ru/yogamir4/27-12-2011194.html


Заранее, спасибо!

Название домена нужно убрать: Disallow:/yogamir5/20-10-2011151.html

Отличный облачный майнинг (https://hashflare.io/r/D9BC3BC7) Аудит и продвижение сайтов (/ru/forum/935103) | Сервис для снятия позиций сайта (http://allpositions.ru/redirect/28240)
G
На сайте с 04.04.2013
Offline
25
GOODPower
#2

Почему бы не сделать сразу так " Disallow:/yogamir5/* " или это дубликаты ?

RT
На сайте с 02.07.2012
Offline
90
Russian Traveller
#3
Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.

http://help.yandex.ru/webmaster/?id=996567

I
На сайте с 11.04.2013
Offline
31
Ikary
#4

Взломали сайт - залили Дорвеи, не знаю уже, как с ними бороться

I
На сайте с 11.04.2013
Offline
31
Ikary
#5

Пытаюсь очистить сайт от дорвеев. Может, кто подскажет действенный способ?

То есть, вид должен быть следующим?:

User-agent: Yandex

Disallow:/yogamir5/20-10-2011151.html

Host: yogamir.ru

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#6

Если нужного с таким началом адреса нет, то можно просто:

User-agent: Yandex

Disallow: /yogamir

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий