Форум Практика оптимизации Любые вопросы от новичков по оптимизации

User-agent: Mediapartners-Google*

E
На сайте с 09.03.2007
Offline
40
Extazy
2670

ув. гуру!

обнаружил у себя в robots.txt вот такую запись:

User-agent: *
User-agent: Mediapartners-Google*
Disallow: /engine/
Disallow: /engine/modules/
Disallow: /engine/inc/
Disallow: /engine/data/
Disallow: /engine/cache/
Disallow: /engine/editor/
Disallow: /language/
Disallow: /uploads/

Disallow: /user/
Disallow: /index.php?do=

User-agent: Mediapartners-Google* ведь отвечает за сканирование бота google adsense моих страниц? так?

етот бот у меня блокируется или разрешён?

http://exnews.org (http://exnews.org)
S1
На сайте с 13.03.2008
Offline
49
smart1k
#1

Disallow: /category блокирует доступ к страницам начинающимся с '/category'

Дизайн сайтов (UI/UX), логотипов, баннеров и прочего... (/ru/forum/770062)
sabotage
На сайте с 14.02.2007
Offline
192
sabotage
#2
Extazy:
ув. гуру!
обнаружил у себя в robots.txt вот такую запись:

Уважаемый ТС! Очень было прикольно читать "обнаружил".

Он блокируется, более того, он заблокирован в первой строчке, так что вторая, с упоминанием имени бота, не требуется.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий