Помогите с robots.txt

12
Links Forever
На сайте с 20.08.2006
Offline
329
798

Нужно для всех закрыть папку /articles/ и только для робота AdSens ее оставить открытой для сканирования. Как это сделать?

Я очень люблю вкусные рецепты (https://povar24.info) квашеной капусты (https://kvashenaya-kapusta.ru/) и салат оливье (https://salatolive.ru/).
Fruit
На сайте с 15.07.2008
Offline
166
#1
_alk0g0lik_:
Нужно для всех закрыть папку /articles/ и только для робота AdSens ее оставить открытой для сканирования. Как это сделать?

User-agent: Mediapartners-Google*

Disallow:

User-agent: *

Disallow:/articles/

Как-то так.

Z-Style
На сайте с 18.03.2010
Offline
185
#2

Да, именно так.

Links Forever
На сайте с 20.08.2006
Offline
329
#3

Тут такая загвоздка. Надо чтобы папочка /articles/ была бы открыта для AdSense, а папочка /user/ закрыта. Т.е. нужно что-то типа allow: Но я не знаю понимает ли его Google.

Вот так сработает:

User-agent: Mediapartners-Google*

Disallow: /user/
Allow: /articles/

User-agent: *
Disallow:/articles/
Disallow: /user/

???

K
На сайте с 31.01.2001
Offline
737
#4
_alk0g0lik_:
нужно что-то типа allow: Но я не знаю понимает ли его Google.

Не уверен - убери. Вот и все.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Links Forever
На сайте с 20.08.2006
Offline
329
#5
Kost:
Не уверен - убери. Вот и все.

Ясен красен иначе бы здесь не спрашивал. :)

Как сделать-то правильно?

K
На сайте с 31.01.2001
Offline
737
#6
Kost:
Не уверен - убери. Вот и все.

А что тут я написал непонятного? Уберите одну строку. Какое слово непонятно?

Если вы не знаете, что означает слово Allow и Disallow и за 5 лет пребывания на форуме не смогли прочитать http://help.yandex.ru/webmaster/?id=996567, то вам помочь будет крайне проблематично.

Links Forever
На сайте с 20.08.2006
Offline
329
#7
Kost:
А что тут я написал непонятного? Уберите одну строку. Какое слово непонятно?

Если вы не знаете, что означает слово Allow и Disallow и за 5 лет пребывания на форуме не смогли прочитать http://help.yandex.ru/webmaster/?id=996567, то вам помочь будет крайне проблематично.

Я знаю что конкретно оно значит, я не знаю следует ли директиве allow робот адсенса. И еще просьба, пишите по существу. А то много флуда.

K
На сайте с 31.01.2001
Offline
737
#8

Вы понимаете, что эти два варианта абсолютно идентичны?

User-agent: Mediapartners-Google*

Disallow: /user/

Allow: /articles/

User-agent: Mediapartners-Google*

Disallow: /user/

Z-Style
На сайте с 18.03.2010
Offline
185
#9

выше уже есть решение. потерто...

angr
На сайте с 11.05.2006
Offline
413
#10

_alk0g0lik_, думаю у первоисточника вы и найдете ответ...

плюс русская версия...

ну и конечно же справка самого Адсенса

P.S. кстати, а чего в этой ветке, а не в разделе Адсенса тема?

Требуется СЕО-Специалист в Кишиневе, в офис. ()
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий