Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильный robots.txt для Яши и Гоши

HL
На сайте с 12.12.2012
Offline
118
HotLab
340

Здравствуйте уважаемы форумчане. Подскажите пожалуйста, как правильно составлять robots.txt для гугл и яшки ? Видел кучу вариантов, начиная от единого для всех поисковиков и заканчивая отдельно для яши, гугла и остальных поисковиков. Подскажите, как на практике правильнее.

Спасибо.

- Дорогой выкуп баннерных показов (https://goo.gl/Haxr87). Советую! - СеоПульт (https://seopult.ru/ref/0c1642776e7e1b04) + крауд-ссылки (https://goo.gl/3eXcqn) = успех - Проверенный CashBack сервис (https://goo.gl/mAIbxw). До 30%
Mik Foxi
На сайте с 02.03.2011
Offline
1218
Mik Foxi
#1

Для начала определитесь для какого движка.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
trahtor
На сайте с 06.12.2005
Offline
426
trahtor
#2

По этому вопросу куча тем есть на этом форуме и других, не уж то гугл отключили?(

HL
На сайте с 12.12.2012
Offline
118
HotLab
#3

foxi, сайт - это симбиоз 3-х движков: WP, phpBB, ModX. Каждый движок отвечает за свою часть проекта. Рекомендаций по роботсу для этих cms находил массу, но кто-то составляет один единый роботс для всех поисковиков, а кто-то выносит отдельно для Яндекса, Гугла и для всех остальных ПС.

WordPress остается самой популярной Опубликованы результаты исследования CMS В интерфейсе Яндекс.Метрики появились
HL
На сайте с 12.12.2012
Offline
118
HotLab
#4

Теме АП. Все еще актуально.

Вот пример роботса, который как я писал выше для каждого поисковика: 

User-agent: Yandex  

Disallow: /wp-admin  

Disallow: /wp-includes  

Disallow: /wp-comments  

Disallow: /wp-content/plugins  

Disallow: /wp-content/themes  

Disallow: /wp-login.php  

Disallow: /wp-register.php  

Disallow: */trackback  

Disallow: */feed  

Disallow: /cgi-bin  

Disallow: *?s=  

Host: site.ru



User-Agent: Googlebot 

Disallow: /wp-admin  

Disallow: /wp-includes  

Disallow: /wp-comments  

Disallow: /wp-content/plugins  

Disallow: /wp-content/themes  

Disallow: /wp-login.php  

Disallow: /wp-register.php  

Disallow: */trackback  

Disallow: */feed  

Disallow: /cgi-bin  

Disallow: *?s=  

  

User-agent: *  

Disallow: /wp-admin  

Disallow: /wp-includes  

Disallow: /wp-comments  

Disallow: /wp-content/plugins  

Disallow: /wp-content/themes  

Disallow: /wp-login.php  

Disallow: /wp-register.php  

Disallow: */trackback  

Disallow: */feed  

Disallow: /cgi-bin  

Disallow: *?s=  

  

Sitemap: http://site.ru/sitemap.xml

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий