Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots и sitemap

MC
На сайте с 09.04.2012
Offline
125
MisterCh
671

Часто в гайдах для новичков рекомендуют составлять robots.txt с добавлением туда файла sitemap.xml.

Получатся, при генерации сайтмэпа уже должен быть роботс , чтобы генератор не добавил в карту ненужные страницы. Так ведь?

das_pupkin
На сайте с 15.11.2011
Offline
81
das_pupkin
#1

верно думаете, недавно генерировал сайтмэп, так генератор в точности как поисковый робот добавил только страницы из Allow, Disallow не трогал

более того, сайтмэп обычно располагают так: нттп://сайт.ру/сайтмэп.хмл

Аудиты интернет-магазинов. Цена договорная. Связь - личка. Срок - 3 дня.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2
das_pupkin:
более того, сайтмэп обычно располагают так: нттп://сайт.ру/сайтмэп.хмл

Почему?...

MC
На сайте с 09.04.2012
Offline
125
MisterCh
#3

еще интересно- насколько важно указывать <lastmod> в sitemap.xml . С учётом того, что это обычная компания ( а не новостной портал)

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#4
MisterCh:
Получатся, при генерации сайтмэпа уже должен быть роботс

Не обязательно. Sitemap также можно загрузить в панели вебмастера (гугл, яндекс), для остальных ботов придется указать адрес карты в роботс

Оксиген
На сайте с 30.07.2006
Offline
444
Оксиген
#5
MisterCh:
при генерации сайтмэпа уже должен быть роботс , чтобы генератор не добавил в карту ненужные страницы. Так ведь?

Какая взаимосвязь? Генератор sitemap.xml еще до запуска должен знать что можно добавлять, а что нет.

MisterCh:
насколько важно указывать <lastmod> в sitemap.xml

А в чём сложность то? Вручную что-ли его делать?

Магазин готовых сайтов (https://www.bdb.ru/shop/) Продление доменов в RU-CENTER по партнерским тарифам.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий