Вопрос о robots.txt

12
Fingard
На сайте с 03.04.2010
Offline
97
1274

Вот мой robot.txt

User-agent: YandexBlog

Disallow:

User-agent: Mediapartners-Google*

Disallow:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: */trackback/

Disallow: */feed

Disallow: /feed/

Disallow: /tag/

Disallow: /comment*

Disallow: /forum

Disallow: */forum

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Host: ****.ru

Sitemap: http://****.ru/sitemap.xml

Вопросов несколько:

1)правильно ли прописан Mediapartners-Google* (не пойму зачем нужена звездочка после названия робота);

2)пустая строка между последним Disallow и Host. Должна ли она быть. Подозреваю что нет.

3)все ли правильно. Буду благодарен за ваши ответы

iren K
На сайте с 28.12.2008
Offline
222
#1
Fingard:
Вот мой robot.txt

User-Agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback/

Disallow: /feed/

Disallow: /tag/

Disallow: /comment/

Disallow: /forum

Disallow: /comments/

Disallow: *?feed=

Disallow: *?s=

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback/

Disallow: /feed/

Disallow: /tag/

Disallow: /comment/

Disallow: /forum/

Disallow: /comments/

Disallow: *?feed=

Disallow: *?s=

Host: ****.ru

Sitemap: http://****.ru/sitemap.xml

"немного" исправила..((

c уважением Iren
Fingard
На сайте с 03.04.2010
Offline
97
#2

Iren, значит пустая строка перед Host нужна? спасибо за предидущий ответ

iren K
На сайте с 28.12.2008
Offline
222
#3
Fingard:
Iren, значит пустая строка перед Host нужна? спасибо за предидущий ответ

- да

- системные дир. и файлы в Disallow моня не ставить - они дефолтом игнорируются

- лучше по маске Disallow проставьте..

fan
На сайте с 08.07.2005
Offline
142
fan
#4

Вообще-то пустая строка НЕ нужна между дисаллоу и хост. Почитайте хелп Яндекса.

Fingard
На сайте с 03.04.2010
Offline
97
#5
fan:
Вообще-то пустая строка НЕ нужна между дисаллоу и хост. Почитайте хелп Яндекса.

Тоже думаю, но нужно было подтверждение. В нете лазил, находил и так и так. Но уже 3 недели как прописал через хост без www, но до сих пор в выдаче с www. Хотя робот заходит.

fan
На сайте с 08.07.2005
Offline
142
fan
#6
Fingard:
Но уже 3 недели как прописал через хост без www, но до сих пор в выдаче с www. Хотя робот заходит.

Вот этот робот заходил: Yandex/1.01.001 (compatible; Win16; H)?

Последний ап зеркальщика, если не ошибаюсь, был в конце марта. Остается только ждать.

И не забудьте, что:

Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.

;)

Fingard
На сайте с 03.04.2010
Offline
97
#7

Спасибо, буду ждать

DV
На сайте с 01.05.2010
Offline
644
#8

Вопрос.

Старый домен ссылается на поддиректорию нового сайта. Т.е.

http://old_site.ru = http://new_site.ru/old_site/

Допустимо ли закинуть файл в поддиректорию, т.е.,

http://new_site.ru/old_site/robots.txt

дабы правильно определялся хост, или достаточно файла в корне?

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
iren K
На сайте с 28.12.2008
Offline
222
#9
DenisVS:
или достаточно файла в корне?

достаточно файла в корне

K
На сайте с 31.01.2001
Offline
737
#10
iren K:
- да

Fingard, если вы спрашиваете что-то на форуме, будьте готовы, что вам могут написать совершенно очевидную дезинформацию.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий