Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt

B

2

Babax

28 октября 2010, 14:44

412

Подскажите пожалуйста. Вот код файла robots.txt:

User-agent: Yandex

Allow: /

Disallow: /css

Disallow: /js

Disallow: /webalizer

Disallow: /files

Host: www.********.ua

User-agent: Googlebot

Allow: /

Disallow: /css

Disallow: /js

Disallow: /webalizer

Disallow: /files

Host: www.********.ua

Есть ли в нем проблема из-за которой робот яндекса может не брать страницы в индекс???

SJ

21

S J Patrik

28 октября 2010, 14:47

#1

а вы проверьте свой роботс

http://webmaster.yandex.ru/robots.xml

И Host: для гугла писать не надо, если не ошибаюсь.

PS. Правила у вас какие-то странные.

PPS. Почитайте про роботс для яндекса.

B

2

Babax

28 октября 2010, 15:16

#2

S J Patrik, спасибо