Про роботс.txt

55

Antikrik

23 декабря 2009, 01:20

411

Есть такой роботс:

User-agent: *

Disallow:

Sitemap: http://www.site.ru/sitemap.xml

Host: site.ru

Я так понимаю, он не правильно составлен... Или Яндекс и такой схавает?

370

kimberlit

23 декабря 2009, 02:10

#1

User-agent: Yandex

Disallow:

Host: site.ru  

Sitemap: http://www.site.ru/sitemap.xml



User-agent: *

Disallow:

Sitemap: http://www.site.ru/sitemap.xml

55

Nick84

23 декабря 2009, 02:10

#2

нужно так:

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Sitemap: http://www.site.ru/sitemap.xml
Host: site.ru

6

mast88

23 декабря 2009, 06:38

#3

Удалить роботс и направить карту сайта в панели яндекса.

Кстати название sitemap должно быть с большой буквы, если хотите, чтобы остальные поисковики автоматом ее нашли.

Клуб любителей железной дороги и поездов (http://trainclub.ru)

55

Antikrik

23 декабря 2009, 08:47

#4

Я не правильно задал вопрос ) Я имею ввиду, что карта сайта указана по адресу с www, а хост прописан без www. Правильно ли это?

370

kimberlit

23 декабря 2009, 09:28

#5

Antikrik:
Я имею ввиду, что карта сайта указана по адресу с www, а хост прописан без www. Правильно ли это?

А в чём проблема сделать одинаково? Или лень блокнот открыть?

55

Antikrik

23 декабря 2009, 11:12

#6

Просто с человеком поспорили :) Я говорю, что нужно в роботсе указывать одинаковый адрес, а он говорит - что можно и так и так.

Это вообще принципиально для ботов?

JD

471

Jet D.

23 декабря 2009, 21:25

#7

http://www.sitemaps.org/ru/protocol.php#location

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи

Переиграть и победить: как анализировать конкурентов для продвижения сайта