Все вопросы по robots.txt

Борис С
На сайте с 21.11.2008
Offline
109
#221
bulatbulat48:
Возможно вебмастер не обновился, проверьте выдачу в ручную.

тоже самое эти мусорные страницы так и есть в поиске, хотя сегодня очередной апдейт был 😕

B4
На сайте с 27.04.2012
Offline
94
#222
sergik_a:
bulatbulat48

По п.1. кажись разобрался - приставка /?to=2/ появляется из-за подключения связей между объектами. С этим моментом сейчас разбираюсь, с разработчиком модуля каталогов.. Почему то страницам с /?to=2/ присваивается link rel="canonical"

Тогда получается эти страницы нельзя закрывать в robots.txt? или если их закрыть - то ПС начнет индексировать нормальные адреса объектов - без /?to=2/ ???

Да индексируются и страницы самих объектов и iframe к каждой странице объектов.

Тяжело конечно вангавать)

1) Каноникал присваивается и без to=2 и с ним? какой из них канонический?

2) Покажите пример из выдачи, как проиндексировались страницы с iframe, если такие есть то возможно нужно закрыть.

---------- Добавлено 15.10.2014 в 11:07 ----------

Борис С:
тоже самое эти мусорные страницы так и есть в поиске, хотя сегодня очередной апдейт был 😕

1) еще раз проверьте в вебмастера, в роботс - точно ли закрыли

2) обычно 2-3 недели примерно удаляются.

B4
На сайте с 27.04.2012
Offline
94
#223

или удалите страницы через я.delurl

Anibrut
На сайте с 28.05.2014
Offline
74
#224

Здравствуйте подскажите правильно ли все сделано?

User-agent: *

Disallow: /service

Host: brend-group.com

где то читала что нужно пустую строчку между Disallow и Host вот так:

User-agent: *

Disallow: /service

Host: brend-group.com

как правильно?

Что меня еще тревожит, так это то, что в этой "service" папке есть следующее папки

css

data

images

includes

jscript

phpmyadmin

и файл favicon

dr_vice
На сайте с 22.01.2013
Offline
56
#225
Anibrut:
Здравствуйте подскажите правильно ли все сделано?

User-agent: *
Disallow: /service
Host: brend-group.com

где то читала что нужно пустую строчку между Disallow и Host вот так:
User-agent: *
Disallow: /service

Host: brend-group.com

как правильно?

Что меня еще тревожит, так это то, что в этой "service" папке есть следующее папки
css
data
images
includes
jscript
phpmyadmin

и файл favicon

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Правильно:

User-agent: *
Disallow: /service
Host: brend-group.com

Папки:

css

data

images

includes

jscript

phpmyadmin

являются служебными и поисковикам там нечего делать. favicon.ico закиньте в корневую директорию сайта и в шаблоне в начале пропишите:

<link rel="shortcut icon" href="/favicon.ico" />
Anibrut
На сайте с 28.05.2014
Offline
74
#226

dr_vice огромное Вам спасибо.

Позвольте тогда еще один вопрос а какие еще из вот таких папок в корневой папке сайта стоит закрыть?:

css

docs - доки которые прикрепляються для скачивания

fonts

includes

jscript

pdf

plugins

rss

Scripts

service

swf

tpl

И еще вопрос как вы относитесь к закрытию на главной ссылок на "Войти" и "Зарегистрироваться"? И как это лучше сделать (если нужно) через robots или непосредственно на странице дописать rel="nofollow"?

Anibrut
На сайте с 28.05.2014
Offline
74
#227

Здравствуйте, помогите пожалуйста разобраться.

Вот такой у меня robots:

User-agent: *

Disallow: /service

Disallow: /tpl/templates/index_with_new_year.tpl

Disallow: /tpl/configs

Disallow: /rss

Disallow: /css

Disallow: /fonts

Disallow: /img

Disallow: /admin*

Host: brend-group.com

Вопросы:

1. не скрыла ли чего лишнего?

2. чтобы заблокировать доступ ко всем каталогам, название которых [admin] которые находятся на разных уровнях вложенности правильно ли написала?

3. нужно ли скрыть каталог [templates_c] в нем аналогичные страницы как в [templates] (например my_basket.tpl) а в [templates_c] - (%%0D^0D2^0D2F3501%%my_basket.tpl.php)?

B4
На сайте с 27.04.2012
Offline
94
#228
Anibrut:
Здравствуйте, помогите пожалуйста разобраться.

Вот такой у меня robots:
User-agent: *
Disallow: /service
Disallow: /tpl/templates/index_with_new_year.tpl
Disallow: /tpl/configs
Disallow: /rss
Disallow: /css
Disallow: /fonts
Disallow: /img
Disallow: /admin*
Host: brend-group.com

Вопросы:
1. не скрыла ли чего лишнего?
2. чтобы заблокировать доступ ко всем каталогам, название которых [admin] которые находятся на разных уровнях вложенности правильно ли написала?
3. нужно ли скрыть каталог [templates_c] в нем аналогичные страницы как в [templates] (например my_basket.tpl) а в [templates_c] - (%%0D^0D2^0D2F3501%%my_basket.tpl.php)?

User-agent: *

Disallow: /service/

Disallow: /tpl/templates/index_with_new_year.tpl

Disallow: /tpl/configs/

Disallow: /rss/

Disallow: /css/

Disallow: /fonts/

Disallow: /img/ (я бы не закрывал)

Disallow: */admin/

Host: brend-group.com

Anibrut
На сайте с 28.05.2014
Offline
74
#229

bulatbulat48, спасибо!

Еще вот такой вопрос.

Закрыть в robots хочу страницы: reg_user.tpl, register.tpl, enter_user.tpl. Поскольку они будут закрыты стоит ли писать атрибут rel="nofollow" для ссылок "Регистрация" и "Вход", поскольку они в шапке сайта и отображаются на каждой странице, что бы вес не отдавать.

B4
На сайте с 27.04.2012
Offline
94
#230
Anibrut:
bulatbulat48, спасибо!

Еще вот такой вопрос.
Закрыть в robots хочу страницы: reg_user.tpl, register.tpl, enter_user.tpl. Поскольку они будут закрыты стоит ли писать атрибут rel="nofollow" для ссылок "Регистрация" и "Вход", поскольку они в шапке сайта и отображаются на каждой странице, что бы вес не отдавать.

да, можно. Еще лучше добавить nofollow либо закрыть через JS :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий