Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt

I

31

Ikary

11 апреля 2013, 10:01

308

Здравствуйте!

Подскажите, правильно ли составлен робот для Яндекс?

Создавался для общей индексации и блокировки указанных в нем урлов

Вот сам код:

User-agent: Yandex

Host: yogamir.ru

Disallow: http://yogamir.ru/yogamir5/20-10-2011151.html

Disallow: http://yogamir.ru/yogamir2/22-08-2011124.html

Disallow: http://yogamir.ru/yogamir2/01-07-201192.html

Disallow: http://yogamir.ru/yogamir5/17-01-201114.html

Disallow: http://yogamir.ru/yogamir5/05-05-201172.html

Disallow: http://yogamir.ru/yogamir4/13-06-201191.html

Disallow: http://yogamir.ru/yogamir5/06-12-2011176.html

Disallow: http://yogamir.ru/yogamir4/23-01-201112.html

Disallow: http://yogamir.ru/yogamir1/16-10-2011155.html

Disallow: http://yogamir.ru/yogamir5/08-03-201143.html

Disallow: http://yogamir.ru/yogamir3/12-01-201110.html

Disallow: http://yogamir.ru/yogamir2/22-05-201166.html

Disallow: http://yogamir.ru/yogamir5/14-01-201111.html

Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html

Disallow: http://yogamir.ru/yogamir5/06-03-201140.html

Disallow: http://yogamir.ru/yogamir5/06-03-201140.html

Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html

Disallow: http://yogamir.ru/yogamir5/14-01-201111.html

Disallow: http://yogamir.ru/yogamir1/15-03-201138.html

Disallow: http://yogamir.ru/yogamir3/10-07-2011104.html

Disallow: http://yogamir.ru/yogamir3/14-08-2011122.html

Disallow: http://yogamir.ru/yogamir2/16-07-2011103.html

Disallow: http://yogamir.ru/yogamir4/06-09-2011135.html

Disallow: http://yogamir.ru/yogamir4/27-12-2011194.html

Заранее, спасибо!

167

anebilitsa

11 апреля 2013, 10:23

#1

Ikary:
Здравствуйте!

Подскажите, правильно ли составлен робот для Яндекс?

Создавался для общей индексации и блокировки указанных в нем урлов
Вот сам код:

User-agent: Yandex
Host: yogamir.ru
Disallow: http://yogamir.ru/yogamir5/20-10-2011151.html
Disallow: http://yogamir.ru/yogamir2/22-08-2011124.html
Disallow: http://yogamir.ru/yogamir2/01-07-201192.html
Disallow: http://yogamir.ru/yogamir5/17-01-201114.html
Disallow: http://yogamir.ru/yogamir5/05-05-201172.html
Disallow: http://yogamir.ru/yogamir4/13-06-201191.html
Disallow: http://yogamir.ru/yogamir5/06-12-2011176.html
Disallow: http://yogamir.ru/yogamir4/23-01-201112.html
Disallow: http://yogamir.ru/yogamir1/16-10-2011155.html
Disallow: http://yogamir.ru/yogamir5/08-03-201143.html
Disallow: http://yogamir.ru/yogamir3/12-01-201110.html
Disallow: http://yogamir.ru/yogamir2/22-05-201166.html
Disallow: http://yogamir.ru/yogamir5/14-01-201111.html
Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html
Disallow: http://yogamir.ru/yogamir5/06-03-201140.html
Disallow: http://yogamir.ru/yogamir5/06-03-201140.html
Disallow: http://yogamir.ru/yogamir5/11-09-2011138.html
Disallow: http://yogamir.ru/yogamir5/14-01-201111.html
Disallow: http://yogamir.ru/yogamir1/15-03-201138.html
Disallow: http://yogamir.ru/yogamir3/10-07-2011104.html
Disallow: http://yogamir.ru/yogamir3/14-08-2011122.html
Disallow: http://yogamir.ru/yogamir2/16-07-2011103.html
Disallow: http://yogamir.ru/yogamir4/06-09-2011135.html
Disallow: http://yogamir.ru/yogamir4/27-12-2011194.html

Заранее, спасибо!

Название домена нужно убрать: Disallow:/yogamir5/20-10-2011151.html

Отличный облачный майнинг (https://hashflare.io/r/D9BC3BC7) Аудит и продвижение сайтов (/ru/forum/935103) | Сервис для снятия позиций сайта (http://allpositions.ru/redirect/28240)

G

25

GOODPower

11 апреля 2013, 10:25

#2

Почему бы не сделать сразу так " Disallow:/yogamir5/* " или это дубликаты ?

RT

90

Russian Traveller

11 апреля 2013, 11:15

#3

Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.

http://help.yandex.ru/webmaster/?id=996567

I

31

Ikary

11 апреля 2013, 11:16

#4

Взломали сайт - залили Дорвеи, не знаю уже, как с ними бороться

I

31

Ikary

11 апреля 2013, 11:42

#5

Пытаюсь очистить сайт от дорвеев. Может, кто подскажет действенный способ?

То есть, вид должен быть следующим?:

User-agent: Yandex

Disallow:/yogamir5/20-10-2011151.html

Host: yogamir.ru

370

kimberlit

11 апреля 2013, 13:18

#6

Если нужного с таким началом адреса нет, то можно просто:

User-agent: Yandex

Disallow: /yogamir