Форум Практика оптимизации Любые вопросы от новичков по оптимизации

sitemap и robots.txt

ninzzo
На сайте с 03.06.2012
Offline
34
ninzzo
593

Создал сайтмап:

все страницы сайта прописаны.

создал роботс.тхт:

закрыл 30% страниц "disalow", что бы поисковый робот не индексировал то что не надо.

Закинул эти два файла в корневик сайта.

Теперь роботы проиндексируют только 70%, верно? Или они проиндексируют все страницы, которые есть в сайтмапе?

A
На сайте с 27.08.2011
Offline
53
ateist
#1
ninzzo:

Теперь роботы проиндексируют только 70%, верно? Или они проиндексируют все страницы, которые есть в сайтмапе?

А зачем вообще добавлять ненужные для индексации страницы в сайтмап???

Яндекс. Помощь вебмастеру. (http://help.yandex.ru/webmaster/for-webmasters/contents.xml)
ninzzo
На сайте с 03.06.2012
Offline
34
ninzzo
#2
А зачем вообще добавлять ненужные для индексации страницы в сайтмап???

автоматом добавляются при создании саймапа на каком то сайте. ты предлагаешь их удалить? Так робот всеравно их найдет, полазив по моем сайте.

Вопрос был в другом.

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#3

Страницы закрытые в роботсе не должны индексироваться, где бы они не находились, в sitemap или еще где-то. Наличие ссылок в sitemap не гарантирует их индексацию, даже если они открыты для индексации. Запрещенные к индексации урлы в sitemap по правилам не должны там находится.

A
На сайте с 27.08.2011
Offline
53
ateist
#4
siv1987:
Запрещенные к индексации урлы в sitemap по правилам не должны там находится.

Именно это я имел в виду!

YarpivceV
На сайте с 06.10.2011
Offline
8
YarpivceV
#5

Если в robots.txt закрыты индексироваться не должны

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий