Форум Сайтостроение Веб-строительство

Правильно ли составил robots.txt?

12
oxg
На сайте с 08.08.2011
Offline
218
oxg
#11
feel7:
При таком варианте Вебмастер яндекса будет ругаться на ошибку в host.
У ТС правильно указан с https://.

ну если у него сайт перешёл на https:// то мейби

соц.кнопки шикарны: https:// vokalistu.ru/master-klass-ivanova-k-m-teoriya-lifta

Прокси IPv6 Россия (http://proxy-ipv6.ru/proxy_ipv6.html) /32 сеть, каждый IP в отдельной /48 сети Прокси IPv4 (http://proxyk.ru/proxy-russia.html) более 160 подсетей А,B,C Прокси для Инстаграм (http://proxy-ipv6.ru/instagram-proxy.html)
VR
На сайте с 07.09.2016
Offline
12
vokalistu_ru
#12

спасибо ребята!

---------- Добавлено 10.10.2016 в 09:25 ----------

В итоге оставил:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /category/*/*

Disallow: /category/*

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Allow: /wp-content/themes/*/*.css

Allow: /wp-content/themes/*/*.js

Allow: /wp-content/themes/*/js/*.js

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /category/*/*

Disallow: /category/*

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://vokalistu.ru

Sitemap: https://vokalistu.ru/sitemap.xml

Помогите создать robots.txt правильный robots.txt для WordPress Правильный robots.txt для wordpres?!
S
На сайте с 30.09.2016
Offline
469
Sitealert
#13
vokalistu_ru:

Allow: /wp-content/themes/*/*.css
Allow: /wp-content/themes/*/*.js
Allow: /wp-content/themes/*/js/*.js

Это для Гугла? А может быть, не надо Disallow: /wp-content/themes ?

---------- Добавлено 10.10.2016 в 10:45 ----------

Порылся - соглашусь, пожалуй.

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#14
vokalistu_ru:
Правильно ли составил robots.txt?

/ru/forum/828288

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий