Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Необычный robots

J1
На сайте с 06.09.2012
Offline
122
jj1981ua
510

Приветствую, коллеги.

Есть необычная задача - нужно заблокировать в роботс все урлы сайта, кроме тех, что в папке /image/.

Как это сделать?

User-agent: *

Disallow: /

Allow: /image/

или может как-то можно запретить все, кроме урлов в сайтмапе?

само собой еще нужна главная + несколько страниц (главная на разных языках).

NO FATE
Станислав
На сайте с 27.12.2009
Offline
255
Станислав
#1

Может лучше воспользоваться 

<meta name="robots" content="noindex, follow">

?

Мы там, где рады нас видеть.
J1
На сайте с 06.09.2012
Offline
122
jj1981ua
#2
Ms-Dred:
Может лучше воспользоваться
<meta name="robots" content="noindex, follow">

?

Вариант не плохой, но, увы, мне не подойдет. Технически не реализуемый.

Может есть вариант закрытия от индексации по ответу сервера? (бред конечно, но мало ли)

Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#3
jj1981ua:
само собой еще нужна главная + несколько страниц (главная на разных языках).

User-agent: *

Disallow: /

Allow: /$

Allow: /ru/

Allow: /image/

https://developers.google.com/search/reference/robots_txt?hl=ru#-----

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
J1
На сайте с 06.09.2012
Offline
122
jj1981ua
#4
Оптимизайка:
User-agent: *
Disallow: /
Allow: /$
Allow: /ru/
Allow: /image/

https://developers.google.com/search/reference/robots_txt?hl=ru#-----

спс. а если языков 30 - их все перечислять с Allow?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий