robots.txt - есть ли ошибки, гляньте plz.

W
На сайте с 06.07.2003
Offline
14
510

А то совсем ничего не понимаю, роботы гугла вот уже с нед 3 только в корневой каталог заглядывают да robots.txt читают, дальше не идут. Яндекс упорно лезит по старым ссылкам, не хочет новые воспринимать(у меня раньше каталог продукции в /cat лежал, а теперь в /catalog, уже и ссылку www.mysite.ru/cat/ в яндексе на удаление поставил и в фаиле robots.txt прописал - прет и все тут). Нормально индексирцует пока только rambler.

Имя фаила в корневом каталоге - robots.txt.

содержимое:

User-Agent: *

Disallow: /wdevil/

Disallow: /download/

Disallow: /indeh.files/

Disallow: /postavki/

Disallow: /user/

Disallow: /tur/

Disallow: /stroy/

Disallow: /ridic/

Disallow: /bascet/

Disallow: /admin/

Disallow: /cat/

K
На сайте с 24.12.2003
Offline
73
#1

Файл составлен правильно, но так вы проблему не решите.

1) Я в последнее время очень капризно обходит сайты. У меня бывало обновление в выдаче только через 2 - 2.5 месяцв.

2) Если все же решили удалить сайт из Я, с целью прихода робота как бы на новый сайт - почитайте форум. Это обычно не через robots.txt делается...

Магазин аккаунтов с балансом Litres,DNS,Ozon,Rotapost и еще 50+ других сервисов тут - vk.cc/7QK0Sk
W
На сайте с 06.07.2003
Offline
14
#2

да я не весь сайт а как бы только одну папку /cat. На яндексе где-то читал, что мол если хотите убрать из индексации то удалите и в фаиле robots.txt пропишите

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий