robots.txt

G
На сайте с 22.08.2007
Offline
1
414

Подскажите, пожалуйста, где ошибка в robots.txt, а то выяснять эксперементальным путем слишком долго.

(например, Яндекс игнорирует robots.txt, и индексирует все)


User-Agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /forum
Disallow: /feed

Спасибо.

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Напишите для Яндекса отдельную инструкцию ....

и поставьте слеши закрытия

alek007
На сайте с 24.01.2007
Offline
136
#2

Gribo, странно, вроде все нормально. А файл изначально был на сервере, то есть при появлении самого сайта и первой индексации?

deedee
На сайте с 13.06.2006
Offline
118
#3

User-Agent: *

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /tag/

Disallow: /forum/

Disallow: /feed/

User-Agent: Yandex

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /tag/

Disallow: /forum/

Disallow: /feed/

Host:www.yoursite.ru

G
На сайте с 22.08.2007
Offline
1
#4
файл изначально был на сервере, то есть при появлении самого сайта и первой индексации?

Кстати нет. Яндекс проиндексировал первую страницу немного раньше.

А теперь эти страницы всегда будут выдачу загрязнять?

Или если Яндекс найдет таки правильный robots.txt они исчезнут?

deedee
На сайте с 13.06.2006
Offline
118
#5
Яндекс найдет таки правильный robots.txt

найдет....

G
На сайте с 22.08.2007
Offline
1
#6

Спасибо всем!

Еще вопрос в догонку,

Если раньше ссылки были типа site.com/?p=1 и в таком виде их поисковики и заиндексировали, а потом изменились на site.com/название-статьи.html то в поисковиках это исправиться?

(на страницу можно попасть и так и так, просто site.com/название-статьи.html правильнее)

deedee
На сайте с 13.06.2006
Offline
118
#7

да я бы на самом деле не стал бы в вашем случае менять урлы если старые уже проиндексрованы, и если тем более имеют какой-либо вес... так как разницы особой то и нет между старыми и новыми урлами (а особенно бывает название статьи из 6-8 слов, а то и больше, дак вообще запаришся такой урл набирать)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий