Все вопросы по robots.txt

xaxel3000
На сайте с 23.07.2011
Offline
97
#661
zhurikzzz:
Если в урлах целевых страниц нет знаков вопроса (?), то вот так:
Disallow: /*?

Ну или так Disallow: /*image_captcha?sid=

В целевых вроде нет. Большое спасибо.

EstranhoRu
На сайте с 01.04.2014
Offline
112
#662

Disallow: *image_captcha?sid=*

Продвижение сайтов любой тематики (http://estranho.ru). В поиске интересных проектов.
A
На сайте с 21.05.2014
Offline
16
#663

Здравствуйте.

Помогите, пожалуйста, найти выход из ситуации.

Есть путь http://сайт.ru/statii, на котором публикуются анонсы статей (заголовок и один абзац текса). Соответственно, получается дублирование части контента.

Хочу прописать в роботс

Disallow: /statii/

Но тогда закроются к индексации и все зависимые материалы, т.е.все статьи.

Можно ли добавить к disallow строчку с Allow и каким-нить символом, обозначающим, что statii индексировать нельзя, а все то, что после statii можно?

Т.е.

Disallow: /statii/

Allow: /statii/что-то сюда

ссылки на статьи все начинаются с цифр. Например, /statii/223-novay-statia или /statii/545-staraya-statia. Это я к тому, что нет в названиях какого-то уникального символа, который можно было бы использовать...

Джумла 3.

Заранее спасибо!

GN
На сайте с 20.01.2016
Offline
17
#664

У меня робот тхт не астраивался, но в Яндекс вебмастере пишет что повтор User-Agent

Код выглядит следующим обрзом:

# Added by SEO Ultimate's Link Mask Generator module

User-agent: *

Disallow: /go/

# End Link Mask Generator output

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Что не ак с ним и как это исправить без последствий?

ПЫ.Сы.: Индексируется сайт хорошо.

BrightGuy
На сайте с 03.10.2010
Offline
179
#665

User-agent: *

Disallow: /go/

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Вот так, тогда не будет повтора

-= Сайты на заказ | Правки, обновление, работы по DLE =- (/ru/forum/791118) Skype: rus.shevchuk (skype:rus.shevchuk?chat) | Telegram: @ruslansh (tg://resolve?domain=ruslansh) | ICQ: 606535768 | info@ruslan-shevchuk.com
A
На сайте с 21.05.2014
Offline
16
#666
Annaiva:
Здравствуйте.
Помогите, пожалуйста, найти выход из ситуации.

Есть путь http://сайт.ru/statii, на котором публикуются анонсы статей (заголовок и один абзац текса). Соответственно, получается дублирование части контента.

Хочу прописать в роботс
Disallow: /statii/
Но тогда закроются к индексации и все зависимые материалы, т.е.все статьи.

Можно ли добавить к disallow строчку с Allow и каким-нить символом, обозначающим, что statii индексировать нельзя, а все то, что после statii можно?

Т.е.
Disallow: /statii/
Allow: /statii/что-то сюда

ссылки на статьи все начинаются с цифр. Например, /statii/223-novay-statia или /statii/545-staraya-statia. Это я к тому, что нет в названиях какого-то уникального символа, который можно было бы использовать...

Джумла 3.

Заранее спасибо!

А вот, кстати, нашла в настройках джумлы вставку Мета-тег Robots "noindex,follow". По сути, ведь то, что надо: текст неиндексируется, а ссылки индексируются.

Как думаете, сработает? Для Я и Г?

GN
На сайте с 20.01.2016
Offline
17
#667
BrightGuy:
User-agent: *
Disallow: /go/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Вот так, тогда не будет повтора

а ещё строчка выпала куда?

BrightGuy
На сайте с 03.10.2010
Offline
179
#668
GreeNVet:
а ещё строчка выпала куда?

Выпал User-agent: * на этот повтор и ругалось, так как он уже есть выше, ну и комментарии я убрал, но можно оставить

GN
На сайте с 20.01.2016
Offline
17
#669
BrightGuy:
Выпал User-agent: * на этот повтор и ругалось, так как он уже есть выше, ну и комментарии я убрал, но можно оставить

# Added by SEO Ultimate's Link Mask Generator module

User-agent: *

Disallow: /go/

# End Link Mask Generator output

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Как это всё оставить или совместить, но убрать повтор Агента грамотно?

Так?

# Added by SEO Ultimate's Link Mask Generator module

User-agent: *

Disallow: /go/

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

# End Link Mask Generator output

GN
На сайте с 20.01.2016
Offline
17
#670

Пожалуйста, подскажите

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий