Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Разрешить индексировать страницы только из sitemap. Возможно ли?

Maxiz
На сайте с 04.01.2008
Offline
208
Maxiz
1432

Есть ли технические способы, например с помощью htaccess, или инструкции для роботов (например с помощью robots.txt) для того, чтобы разрешить индексировать странице прямо указанные в карте сайта? (файле sitemap)

[Удален]
#1

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow

Директива "Allow" в роботс

Maxiz
На сайте с 04.01.2008
Offline
208
Maxiz
#2
Profin:
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow
Директива "Allow" в роботс

Allow конкретно ссылку или раздел позволяет разрешать. А как сделать чтобы ссылки из файла sitemap.xml брались например?

GE
На сайте с 26.02.2014
Offline
74
GlebEGA
#3

Как вариант - задать правило, чтобы на всех страницах, кроме выводимых в sitemap, выводился <meta name=“robots” content=“none”>.

Аудиты, консультации по SEO. Пишите ЛС.
[Удален]
#4
Maxiz:
Есть ли технические способы, например с помощью htaccess, или инструкции для роботов (например с помощью robots.txt) для того, чтобы разрешить индексировать странице прямо указанные в карте сайта? (файле sitemap)

Фейспалм. Он и так их полезет индексировать :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий