Все вопросы по robots.txt - 2

A
На сайте с 16.12.2012
Offline
47
#291

Спасибо, вроде разобрался уже. Иногда такие структуры за голову хватаешься. :)

AS
На сайте с 29.03.2019
Offline
26
#292

Здравствуйте. Как закрыть сайт в robots.txt ото всех, кроме Яндекса и Гугла?

minsky
На сайте с 01.09.2012
Offline
164
#293

User-agent: Yandex

Disallow:

User-agent: googlebot

Disallow:

User-agent: *

Disallow: /

Вроде так прописать в robots.txt

Продвигаю сайты ссылками, ускоряю индексацию сайтов и отдельных страниц ( https://kwork.ru/user/minsky?ref=23382 )
L2
На сайте с 09.04.2019
Offline
0
#294

Я правильно заполнил robots для dle?

Я правильно заполнил robots.txt?

вместо site.ru мой домен

User-agent: *

Disallow: /engine/

Allow: /engine/classes/js/

Allow: /engine/classes/min/index.php

Allow: /engine/data/emoticons/

Host: site.ru

User-agent: Yandex

Disallow: /engine/

Allow: /engine/classes/js/

Allow: /engine/classes/min/index.php

Allow: /engine/data/emoticons/

Host: site.ru

User-agent: Googlebot

Disallow: /engine/

Allow: /engine/classes/js/

Allow: /engine/classes/min/index.php

Allow: /engine/data/emoticons/

LL
На сайте с 07.06.2008
Offline
94
#295

Здравствуйте, уважаемые гуру, подскажите пожалуйста по файлу Robots.txt

Вот есть страница новостей https://sait.ru/news/ и в этих новостях есть теги...

вот если нужно теги запретить от индексации, то запрещать так? Disallow: /news/tag

не останется эта страничка https://sait.ru/news/ полностью без индексации?

Просто в Robots.txt

приходится тогда указывать много директорий таких

Disallow: /news/tag

Disallow: /services/tag

Disallow: /actions/tag

Disallow: /builders/tag

Disallow: /ads/tag

а не проще и может правильнее сделать так Disallow: /tag

и тем самым все теги сразу будут запрещены?

спасибо.

[Удален]
#296

А инструкцию читать не пробовали? Вашу ш за ногу и об асфальт, ну /*/tag же...

Lazy Badger
На сайте с 14.06.2017
Offline
231
#297
lws23005:
Я правильно заполнил robots для dle?

Нет. Не вдаваясь в детали - слишком много лишних телодвижений и дублирования

Miha Kuzmin (KMY):
А инструкцию читать не пробовали?

Инструкции - для слабаков и лошар. Ровные пацы идут на форум спрашивать, как сейчас "актуально"

Производство жести методом непрерывного отжига
LL
На сайте с 07.06.2008
Offline
94
#298
Miha Kuzmin (KMY):
А инструкцию читать не пробовали? Вашу ш за ногу и об асфальт, ну /*/tag же...

т.е. правильно вот так? Disallow: /tag

---------- Добавлено 02.05.2019 в 11:29 ----------

Miha Kuzmin (KMY):
А инструкцию читать не пробовали? Вашу ш за ногу и об асфальт, ну /*/tag же...

а где инструкция?

скажите так правильно? Disallow: /tag

A1
На сайте с 13.12.2012
Offline
70
#299

Всем привет!

Посоветовали такой роботс для сайта:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /wp-json/

Disallow: *?MA

Disallow: *?MD

Disallow: *?ND

Disallow: *?SA

Disallow: *?DA

Disallow: *?SD

Disallow: *?DA

Disallow: *?NA

Disallow: *?NA

Disallow: *?C=*

Все ли корректно? Надо ли полностью запрещать Disallow: /wp-content?

TB
На сайте с 17.05.2019
Offline
1
#300

Не знаю может конечно уже был такой вопрос: надо открывать для индексации css и js скрипты в robots?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий