Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Подскажите с robots.txt

12
K
На сайте с 31.01.2001
Offline
737
Kost
#11

Директиву Host: понимает только Яндекс.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
vandamme
На сайте с 30.11.2008
Offline
675
vandamme
#12

marden, print по 2 раза публиковать не надо, да и если такой ссылки в шаблоне нет, то вообще его опустить

/cgi-bin/ дле нет, то осталось от заглушки, удали папку и все

это че такое?

Disallow: /language/
Disallow: /languages/
Элементарный вопрос по PHP Зачем закрывать /cgi-bin/ в Редирект.
Аеro
На сайте с 05.10.2009
Offline
87
Аеro
#13

Здравствуйте форумчане, дабы не плодить еще одну тему, отпишусь в этой.

Знающие люди, подскажите пжлст

Как закрыть от индексации страницы такого уровня:

сайт.ru/2010/12/27/

сайт.ru/2011/02/07/

сайт.ru/2010/02/26/

и т.д (таких страниц очень много).

Страницы выше это все анонсы статей.

Статьи размещены в такой структуре:

сайт.ru/2010/12/27/Статья.html

Как правильно закрыть от индексации анонсы статей (сайт.ru/2010/02/26/), но тем самым не закрывая саму статью, которая находится в категории.

В настоящие момент Robots.txt имеет такой вид: 

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /tag/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

 

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: /tag/

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: сайт.ru

 

Sitemap: http://сайт.ru/sitemap.xml

# BEGIN XML-SITEMAP-PLUGIN

Sitemap: http://сайт.ru/sitemap.xml.gz

# END XML-SITEMAP-PLUGIN

И последний вопрос, не будет ли Яндекс закрывать от индексации такую страницу:

сайт.ru/2011/03/статья/

Если в роботс есть такое правило:

Disallow: /category/*/*

Заранее Спасибо!

Как закрыть страницы разделов Все вопросы по robots.txt Как правильно закрыть рубрики
dlepro_com
На сайте с 16.12.2009
Offline
39
dlepro_com
#14
Аеro:
Здравствуйте форумчане, дабы не плодить еще одну тему, отпишусь в этой.

Знающие люди, подскажите пжлст

Как закрыть от индексации страницы такого уровня:


сайт.ru/2010/12/27/
сайт.ru/2011/02/07/
сайт.ru/2010/02/26/
и т.д (таких страниц очень много).
Страницы выше это все анонсы статей.

Статьи размещены в такой структуре:
сайт.ru/2010/12/27/Статья.html

Как правильно закрыть от индексации анонсы статей (сайт.ru/2010/02/26/), но тем самым не закрывая саму статью, которая находится в категории.

******

И последний вопрос, не будет ли Яндекс закрывать от индексации такую страницу:

сайт.ru/2011/03/статья/
Если в роботс есть такое правило:
Disallow: /category/*/*

Заранее Спасибо!

не совсем понятно что хотите, но если вы об этом:

Disallow: /2011/*/$
И последний вопрос, не будет ли Яндекс закрывать от индексации такую страницу....

а что вам мешает зайти в Яндекс.Вебмастер и проверить?

В Яндекс.Вебмастер(webmaster.yandex.ru) в Настройках индексирования вашего сайта есть инструмент Анализ robots.txt им и тестируйте

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий