Форум Сайтостроение Веб-строительство

Робот.txt для Wordpress

12 3
yalol
На сайте с 12.12.2007
Offline
204
yalol
1100

Добрый день!

Закрыты ли на сайте от индексации все файлы /wp-content/ /wp-content/plugins/ wp-content/themes/

Если робот.тхт такой -

User-agent: *

Disallow: /wp*

Заранее спасибо

S6
На сайте с 06.12.2011
Offline
158
SEO
#1

Закрыты, самое смешное, что будут закрыты и все страницы, которые начинаются с /wp.

Вы же и сами можете проверить в панели вебмастера свой роботс.

Аудит сайта. Консультации.
yalol
На сайте с 12.12.2007
Offline
204
yalol
#2
SEO66:
Закрыты, самое смешное, что будут закрыты и все страницы, которые начинаются с /wp.

Вы же и сами можете проверить в панели вебмастера свой роботс.

Ну а какие страницы на wp начинаются? все те которые не нужны ведь по сути поисковику?

S6
На сайте с 06.12.2011
Offline
158
SEO
#3
yalol:
Ну а какие страницы на wp начинаются? все те которые не нужны ведь по сути поисковику?

Нет, ну, кто знает, что у вас за сайтик и что на уме, может что-то навроде: /wperdolit-krasivoy-blondinke.html к примеру. В общем, либо конкретнее давайте указанию поисковику, либо будьте внимательнее в будущем при создании новых страниц. :)

yalol
На сайте с 12.12.2007
Offline
204
yalol
#4
SEO66:
Закрыты, самое смешное, что будут закрыты и все страницы, которые начинаются с /wp.

Вы же и сами можете проверить в панели вебмастера свой роботс.

На яндекс вебмастере загружаю, там вот такая фигня вообще

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/1999/REC-html401-19991224/strict.dtd">

<!-- <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"

"http://www.w3.org/TR/html4/strict.dtd"> -->

<HTML>

<HEAD>

<META HTTP-EQUIV="Refresh" CONTENT="0.1">

<META HTTP-EQUIV="Pragma" CONTENT="no-cache">

<META HTTP-EQUIV="Expires" CONTENT="-1">

<TITLE></TITLE>

</HEAD>

<BODY><P></BODY>

</HTML>

Spirits
На сайте с 05.12.2008
Offline
55
Spirits
#5

На практически всех своих сайтах WP использую такой роботс:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: /category/

Disallow: /author/

Disallow: /page/

Disallow: /tag/

Disallow: /feed/

Disallow: */feed

Disallow: */trackback

Disallow: */comments

Disallow: /*?

Disallow: /*?*

Disallow: /*.php

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: /category/

Disallow: /author/

Disallow: /page/

Disallow: /tag/

Disallow: /feed/

Disallow: */feed

Disallow: */trackback

Disallow: */comments

Disallow: /*?

Disallow: /*?*

Disallow: /*.php

Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml

themizzz
На сайте с 05.07.2012
Offline
87
themizzz
#6
Spirits:
На практически всех своих сайтах WP использую такой роботс:

Плохой пример :)

altezzik
На сайте с 06.11.2011
Offline
247
altezzik
#7

Я надеюсь на сервере файл назван правильно robots.txt, а не robot.txt как в заголовке темы.

Spirits
На сайте с 05.12.2008
Offline
55
Spirits
#8
themizzz:
Плохой пример :)

Подскажите чем?

yalol
На сайте с 12.12.2007
Offline
204
yalol
#9
themizzz:
Плохой пример :)

Согласен, у моего сайта специфика такова, что есть комментарии есть - и они должны быть учтены, категории - каталог также)

Вот какой список, как вам?

User-agent: *

Disallow: /wp*

/wp-includes/

/wp-content/

/wp-content/plugins/

wp-content/themes/

---------- Добавлено 25.10.2013 в 12:49 ----------

altezzik:
Я надеюсь на сервере файл назван правильно robots.txt, а не robot.txt как в заголовке темы.

http://avtoexperts.ru/robots.txt

---------- Добавлено 25.10.2013 в 12:50 ----------

altezzik:
Я надеюсь на сервере файл назван правильно robots.txt, а не robot.txt как в заголовке темы.

Как считаете, оставить так, или уточнить

/wp-includes/

/wp-content/

/wp-content/plugins/

wp-content/themes/

Новый спам через движок WordPress 5.5.1 устраняет нарушения Упал трафик в Яндекс
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#10
yalol:
http://avtoexperts.ru/robots.txt

У тебя сервер криво работает или др. проблемы.

Покажи хтацесс.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий