robots.txt и sitemap.xml

18

Shalagin

25 января 2012, 08:56

339

Здравствуйте! Я сделал карту сайта через sitemapgenerator. Посмотрел какие страницы попали в карту и закрыл их в robots.txt.

Вопросы:

1) Если мы закроем от индексации в роботсе страницы, при повторном прогоне карта будет такая же? Или в ней уже не будет страниц, запрещенных в роботсе?

2) Должны ли быть в карте картинки? Замедлят ли робота Яндекса картиник? По идее, мне нафиг не нужны картинки в индексе, гораздо важнее, чтобы страницы быстрее индексировались

169

infin1ty

25 января 2012, 09:01

#1

Роботс и карта никак не связаны. Карта указывает роботу куда идти, роботс говорит что лучше не включать в поисковую выдачу. Я не пользовался sitemapgenerator, но мне интуиция показывает что в роботс он точно не заглядывает и не изучает его

102

serg690

25 января 2012, 10:58

#2

Shalagin:
Если мы закроем от индексации в роботсе страницы, при повторном прогоне карта будет такая же? Или в ней уже не будет страниц, запрещенных в роботсе?

Не знаю чем вы там пользуетесь, но обычно в картогенераторах есть свои настраиваемые фильтры, роботс им до лампочки.

Shalagin:
Должны ли быть в карте картинки?

Нет.

1

Лучше деньги в руке, чем журавль в небе. ►Miralinks (http://goo.gl/hG48e)

S

18

Shalagin

25 января 2012, 11:14

#3

Нашел ответ. В самом картогенераторе есть настройка фильтра) "Учитывать инструкции robots.txt" . Спасибо

Курс биткоина превысил $50 тысяч

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ