Подробно о robot.txt

12
Q
На сайте с 27.04.2007
Offline
12
#11
Vitiai:
вот оцените прописал робот.txt правда не знаю правильно

Не правильно... Host понимает только Яндекс. Правильно будет так:

User-Agent: Yandex

Disallow: /links.htm

Host: www.alfameds.ru

User-Agent: *

Disallow: /links.htm

V
На сайте с 21.06.2007
Offline
124
#12
Quietmars:
Вот:
http://www.yandex.ru/cgi-bin/test-robots - Robots.txt глазами Яндекса
И еще вот тут почитай: http://robotstxt.org.ru/ - Все о роботсе :)

а что туда вводить URL? или что че то не получается...

Компания по устройству буронабивных свай (https://drilling-msk.ru/)
Q
На сайте с 27.04.2007
Offline
12
#13
Vitiai:
а что туда вводить URL?

Для начала переименуй файл. НЕ robot.txt а robots.txt ssssss sss в конце.......

Да вводи url www.alfameds.ru

Q
На сайте с 27.04.2007
Offline
12
#14

И вообще, НЕ правильно ты его составил... скопируй то, что я тебе написал и будет счастье. :)

V
На сайте с 21.06.2007
Offline
124
#15

Все щас поменял и сделал вот так

User-Agent: Yandex

Disallow: /

Host: www.alfameds.ru

User-agent: Yandex

Disallow: /links.htm

User-agent: Googlebot

Disallow: /links.htm

User-agent: StackRambler

Disallow: /links.htm

User-agent: Aport

Disallow: /links.htm

User-agent: Webalta

Disallow: /links.htm

User-Agent: Yahoo! Slurp

Disallow: /links.htm

Я еще просто не хочу делать для всех роботов, просто вдруг и роботы каталогов не будут видеть ссылки из-за robots.txt моего

V
На сайте с 21.06.2007
Offline
124
#16

Когда все поменял вот что пишет проверка, блин значит не правильно

http://www.yandex.ru/cgi-bin/test-robots?host=www.alfameds.ru

V
На сайте с 21.06.2007
Offline
124
#17

Мне то нужно чтобы яндекс индексировал этот сайт alfameds.ru, но не индексировал этот alfamed.org(это зеркало)

V
На сайте с 21.06.2007
Offline
124
#18

ААА стоп все все все, все переделал теперь все правильно точно!!!

robots.txt выглядит сейчас так:

User-Agent: Yandex

Disallow: /links.htm

Host: www.alfameds.ru

User-agent: Yandex

Disallow: /links.htm

User-agent: Googlebot

Disallow: /links.htm

User-agent: StackRambler

Disallow: /links.htm

User-agent: Aport

Disallow: /links.htm

User-agent: Webalta

Disallow: /links.htm

User-Agent: Yahoo! Slurp

Disallow: /links.htm

И проверка пишет только это: Запрещена индексация всех URL, начинающихся с указанных префиксов:

/links.htm

а проверка на сайт alfamed.org это: Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера www.alfamed.org:80 запрещена полностью.

Теперь все правильно

Всем огромное спасибо!!! выручили

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий