Нужна помощь в robots.txt

78

lyalehka

20 января 2013, 11:56

978

Подскажите пожалуйста все правильно в моем robots.txt?

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /trackback

Disallow: */trackback

Disallow: /*?*

Disallow: /*?

Disallow: /wp-content/cache

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: */comments

Disallow: */comment-page-*

Disallow: /comments

Disallow: */page*

Disallow: /page/

Disallow: */page/

Disallow: /author/

Disallow: /tag/

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /trackback

Disallow: */trackback

Disallow: /*?*

Disallow: /*?

Disallow: /wp-content/cache

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: */comments

Disallow: */comment-page-*

Disallow: /comments

Disallow: */page*

Disallow: /page/

Disallow: */page/

Disallow: /author/

Disallow: /tag/

Host: site.com

Sitemap: http://site.com/sitemap.xml

78

lyalehka

20 января 2013, 17:04

#1

Ну что никто не поможет?

247

altezzik

20 января 2013, 17:07

#2

Директива

Disallow: /wp-content/

Итак закрывает от индексации следующие:

Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes

п.с. Если картинки загружаются в wp-content, то не будут индексироваться.

T3

132

T-34

20 января 2013, 17:15

#3

Нет необходимость дублировать директивы для яндекса, если они есть в User-agent: *

Рекомендую VPS за $5/месяц (https://m.do.co/c/e366f023194b). Готовый сервер разворачивается за 2 минуты.

87

zharinov

20 января 2013, 17:24

#4

T-34:
Нет необходимость дублировать директивы для яндекса, если они есть в User-agent: *

Хотел сказать тоже самое. Хотя в принципе и так будет работать.

Ремонт автомобиля своими руками (http://delay-auto.ru) Сайт молодого художника (http://tvoirisynki.net.ua)

78

lyalehka

20 января 2013, 17:26

#5

T-34:
Нет необходимость дублировать директивы для яндекса, если они есть в User-agent: *

Можно поподробней?

ET

16

Ed-TopExpert

20 января 2013, 17:29

#6

lyalehka:
Можно поподробней?

User-agent: * означает для всех роботов без исключений. (в том числе и ЯндексБота)

Самый полный курс SEO на рынке. (http://www.topexpert.pro/seo-kurs.html) Главный сеошник Wikimart учит думать и продвигать (http://www.topexpert.pro/seo-analytics-school.html) СЕО-драйв (http://www.topexpert.pro/seo-kurs-s.html)

Что делать, если ваша email-рассылка попала в спам

VK приобрела 70% в структуре компании-разработчика red_mad_robot