Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Что означает запись в robots.txt

snezhok10
На сайте с 03.07.2010
Offline
92
snezhok10
5563

В robots.txt числится вот такая запись: Disallow: /*?. Она часом не означает исключить все страницы кроме главной?

И посмотрите пожалуйста, нет здесь ничего лишнего:

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Speaker19
На сайте с 20.12.2010
Offline
224
Speaker19
#1

Нет, не означает!

Я так понимаю CMS Wordpress? Запись эта просто закрывает от индексации страницы с результатами поиска на сайте!

Дешевая и эффективная реклама ВКонтакте: сообщества, рекламные посты, аналитика. (http://adspoiler.com/r/16336752) Имеются свободные рекламные места в соц. сетях? (http://partner.apishops.com/soc.htm)
Yvan
На сайте с 15.04.2010
Offline
55
Yvan
#2

Да, это WP поиск закрыт...

Wazzuuuuup
angr
На сайте с 11.05.2006
Offline
413
angr
#3

/*?

это означает, что запрещена индексация урл-ов содержащие любые символы до знака ?

Требуется СЕО-Специалист в Кишиневе, в офис. ()
K
На сайте с 31.01.2001
Offline
737
Kost
#4
angr:
запрещена индексация урл-ов содержащие любые символы до знака ?

запрещена индексация урл-ов, содержащих знак ?

Так проще и понятнее :)

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
angr
На сайте с 11.05.2006
Offline
413
angr
#5
Kost:
Так проще и понятнее

согласен :)

я как бы "академически" завернул

Yvan
На сайте с 15.04.2010
Offline
55
Yvan
#6

Понятно, но у меня указано:

Disallow: /*?*
Disallow: /*?
Disallow: /?*

Но пришлось доп. прописать:

Disallow: /?replytocom=

Ссылки на ответ в комментариях вроде индексирует и создаёт дубли страниц:

сайт/страница/?replytocom=номер

😕

angr
На сайте с 11.05.2006
Offline
413
angr
#7
Yvan:
Disallow: /*?*

это вообще бредовая запись

Yvan:
Disallow: /?*

эта запись запрещает индексировать урл-ы начинающиеся со знака ?

Yvan:
Disallow: /?replytocom=

предыдущее правило (/?*) закрывает и эти страницы /?replytocom=

Yvan
На сайте с 15.04.2010
Offline
55
Yvan
#8

angr Спасибо, робот.тхт не знаю.

Вы не подскажете, правильно ли составлен у меня робот? Категории и страницы не стал закрывать, так как посты идут превьюшками: фото, название поста и первые 14 слов из текста поста. И сказали что вроде как поисковики, могут отличит постраничную навигацию - дублей не будет.

User-agent: *
Disallow: /redirect/
Disallow: /author/
Disallow: /author*
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /comments/
Disallow: /comments/feed/
Disallow: /*trackback
Disallow: /*?
Disallow: /?*
Disallow: /*feed
Disallow: */feed
Disallow: /feed
Disallow: /feeds
Disallow: /feeds/
Disallow: /feed/
Disallow: /?feed=
Disallow: */trackback
Disallow: /?replytocom=

Host: сайт.ру

Sitemap: сайт.ру/sitemap.xml

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

P.S.

Не могу понять, в гугл вебмастер повылазили "Заблокирован файлом robots.txt"

сайт.ру/feed/

сайт.ру/comments/feed/

сайт.ру/?replytocom=34

сайт.ру/page/179/

Интеграция Вебмастера и Метрики Платон Щукин о главной Facebook будет продвигать посты
E2
На сайте с 15.12.2006
Offline
128
error2k
#9

Yvan, можно объединить строки по одинаковым первым символам.

Ап! И тигры у ног моих сели.
K
На сайте с 31.01.2001
Offline
737
Kost
#10
Yvan:
Спасибо, робот.тхт не знаю.

Сначала вы должны изучить это: http://help.yandex.ru/webmaster/?id=996567

и только потом писать сюда, на форум.

Тема закрывается.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий