Форум Поисковые системы Яндекс

Yandex и sitemap в robots.txt

U
На сайте с 13.03.2012
Offline
27
Unicode
397

Добрый день. Такой вопрос, как Яндекс реагирует на sitemap в robots.txt? индексирует его?

просто сайта нет в вебмастере и в ручную не добавишь ссылку на sitemap.xml, а вот в robots.txt ссылка есть, этого хватит?

-
M
На сайте с 02.07.2010
Offline
97
martikus
#1

Прекрасно учитывает.

Mik Foxi
На сайте с 02.03.2011
Offline
1028
Mik Foxi
#2

Если указать в роботсе картусайта отлично ее находит и индексирует.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html + партнерка, до 40$ с продажи.
webrock
На сайте с 05.04.2010
Offline
261
webrock
#3
Unicode:
Добрый день. Такой вопрос, как Яндекс реагирует на sitemap в robots.txt? индексирует его?

просто сайта нет в вебмастере и в ручную не добавишь ссылку на sitemap.xml, а вот в robots.txt ссылка есть, этого хватит?

хватит.

первым, что делает любой робот ПС - читает robots.txt и если указана карта, мгновенно читает и её, а потом уже сканирует сайт на определённую глубину.

современные краулеры способны за несколько секунд просканировать несколько тысяч страниц.

если в процессе сканирования робот встречает ошибки сервера, уходит, а через время вновь возвращается.

если сайт трастовый, часто обновляется, ставится спайдер, который при обновлении сайта, сообщает информацию поисковому серверу (быстро робот).

как-то так, в двух словах ...

Полный аудит сайтов. (/ru/forum/765361)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий