Форум Монетизация сайтов Рекламная Сеть Яндекса

РСЯ, Директ и robots.txt

advip
На сайте с 02.08.2007
Offline
121
advip
945

Вопрос скорее всего адресован непосредственно Макару, чтобы получить однозначно точный ответ. Думаю это не секрет.

Но также интересно и мнение, опыт участников РСЯ.

Суть вот в чем:

Хочу запретить на сайте в файле robots.txt некоторые страницы, точнее категории в разделах (вывод по 10 или 20 или 30 или... записей на страницу, сортировка по критериям и т.п.), чтобы не замусоривать лишним индекс в Яндексе. В некоторых случаях эти категории полезны для людей, чтобы более точнее или удобнее отобразить информацию, но для Яндекса разбивка информации на подобные категории, критерии может показаться дублированием, да и вообще, чтобы не отвлекать ботов поисковиков от более важного.

Везде стоит код РСЯ. Если я запрещу к индексации страницы таких критериев, то будет ли Директ (РСЯ) продолжать заходить на них и оценивать эти "закрытые" страницы на релевантность, для показа на них соответствующих теме страницы объявлений?

Извиняюсь, если как-то криво объяснил.

Другими словами и очень коротко)), учитывает ли робот Директа (РСЯ), что написано в файле robots.txt, в частности запреты?

M
На сайте с 06.05.2005
Offline
142
Makar
#1
advip:

<...>
Другими словами и очень коротко)), учитывает ли робот Директа (РСЯ), что написано в файле robots.txt, в частности запреты?
<...>

Да, учитывает. Правильным решением в данном случае будет закрытые для индексации страницы открыть нашему роботу, т.е. в robots.txt указать: 


User-agent: YaDirectBot

Disallow: 

User-agent: *

Disallow: /smth/

Disallow: /blah-blah/

Disallow: /restricted/
advip
На сайте с 02.08.2007
Offline
121
advip
#2

Makar, спасибо большое!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий