Все вопросы по robots.txt - 2

0
На сайте с 24.08.2017
Offline
2
#51
Miha Kuzmin (KMY):
Пациент, вам дали прямой и единственный безбажный способ закрыть сайт от индексации. Если бы вы хотя бы инструкцию по robots.txt прочитали, настолько глупых вопросов бы не возникало.

Уважаемый пациент, проходите мимо пожалуйста, если ничего сказать по теме. Троллить не надо! 🙅

пысы - на досуге почитайте - http://alaev.info/blog/post/3013., что бы не давать глупых советов.

[Удален]
#52

Господи, ну откуда такие продукты реактора биомассы... Совет дан, и он единственный правильный. Но дурачкам из 12 года чтения все позволено (он, кстати, и тогда был неправ).

0
На сайте с 24.08.2017
Offline
2
#53
Miha Kuzmin (KMY):
Господи, ну откуда такие продукты реактора биомассы... Совет дан, и он единственный правильный. Но дурачкам из 12 года чтения все позволено (он, кстати, и тогда был неправ).

Подобная манера общения с Людьми свидетельствует об отсутствии интелекта, а посему прекращаю общение с подобным продуктом...

Да простят меня соконфетники за офтоп.

[Удален]
#54

Ну про интеллект понятно - тут не соревноваться. Как и по seo-знаниям.

S3
На сайте с 15.03.2010
Offline
113
#55
Daftix:
Есть урл с гет-параметрами, допустим, site.ru/cat/?id=123.

В robots.txt используется секция:
Clean-param: id *

Для страницы site.ru/cat/?id=123 прописан мета-тег:
<meta name="robots" content="noindex, follow"/>

Для страницы site.ru/cat/ такой мета-тег не прописан.

Вопрос: при такой конструкции не выкинет ли Яндекс страницу site.ru/cat/ из индекса?

может выкинуть по причине "недостаточно качественная", но это практически любой страницы касаются со слабым контентом

P
На сайте с 24.05.2012
Offline
74
Pch
#56

Не выкинет. Всё равно что Вы закроете от индекса utm метки через Clean-param, судя по вашему описанию смысл ровно тот же.

А вообще для надежности стоит проверять такие вещи в ЯВМ в разделе Инструменты->Анализ robots.txt.

Там будут все ответы - красный стой, зеленый иди.

A
На сайте с 18.03.2013
Offline
70
#57

Привет всем!

Пара вопросов.

1. Есть роботс, а там строки:

Disallow: /bitrix/

.......

Allow: /bitrix/js

Не закроется ли "Allow: /bitrix/js"?

Что должно стоять выше в списке, если это имеет значение?

2. Как закрыть следующие параметры для индексации (disallow) в битриксе:

"show", "order", "name", "price" и "display"?

Эти слова появляются при листинге товаров в каталоге, а это вроде как неочень)

На всякий случай, мало ли кто-то не на шутку захочет вникнуть в вопрос и его решение)) Использую решения от Аспро, пытаюсь довести их до ума по рекомендациям для первоначальной внутренней оптимизации. Может сталкивались и там есть места, характерные именно для битриксовских решений от аспро, на которые стоит обратить особое внимание?

Заранее спасибо за ответ!

A
На сайте с 18.03.2013
Offline
70
#59

Да, прочитав предыдущие Ваши коменты в это теме, сначала почитал справку яндекса))) Именно поэтому решил задать уточняющие вопросы "Не закроется ли "Allow: /bitrix/js"? Что должно стоять выше в списке, если это имеет значение?" Хорошо, будем считать, что правильно так:

Allow: /bitrix/js

......

Disallow: /bitrix/

Во второй вопрос стоит внести уточнение, конечно, я почитал справку яндекса, но меня смущает, что помимо перечисленных мной параметров, в урлах появляются еще символы:

сайт/каталог/раздел-каталога/?sort=SHOWS&order=desc

сайт/каталог/раздел-каталога/?display=block

сайт/каталог/раздел-каталога/?display=list&sort=PRICE&order=desc

Правильно ли мыслю, что надо запилить строки типа:

Disallow: /?sort

Disallow: /?display

???

И сразу еще вопрос, если использую такой замут:

Disallow: /*?*

то все страницы с переменными после слеша, которые будут содержать вопросительный знак, не будут индексироваться ПС?

A
На сайте с 20.09.2017
Offline
2
#60

У меня из-за Disallow: /*?*, были траблы в Google. При проверке оптимизации для мобильных, выяснилось, что эта директива закрывала путь к файлу вида - /gfg?js , пришлось открывать папку по указанному адресу. При таком раскладе можно перекрыть путь к css файлам, нужным гуглу при открытии мобильной адаптивной версии сайта

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий