Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

A
На сайте с 04.07.2010
Offline
1
adsad
470

есть варезник на дле - 1000 страничек. на каждой стриничке по 10 новостей

нужно скрыть от яши page/1, page/2 ... page/1000 (чтоб лишнии 1000 страничек в индекс не заносить) нужно заносить только новости.

Если скрою от поисковиков каталог site.ru/page/ , яша будет в него заходить но не будет индексировать содержимое этого каталога (тоесть не будет индексироватся ссылки где встречается /page/)

или не будет туда заходить вообще? (тоесть мой сайт норм не проиндексируется)

PM
На сайте с 12.02.2008
Offline
87
PerpetuumMobile
#1

Лучше не стоит, а то ведь может и не найти url'ы, а чем так уж мешают такие странички, контент на них есть. Лучше скрыть user и прочие действительно лишние странички

A
На сайте с 04.07.2010
Offline
1
adsad
#2
Если он каким-то другим способом сможет найти ссылки на новости

тоесть если скрыто /page/ и никаких карт итд нету то он не сможет найти новости(/news/)?

На новости у меня можно переходить только через /page/

Просто не совсем понял)

может кто написать что получится в результате если я сделаю вот так:

существует каталог site.ru/qwerty/ в нем лежат ссылки на site.ru/user/ (к папке user можно попасть только через папку qwerty никаких карт итд нету).

Если я заблокирую яше доступ к /qwerty/ он проиндексирует ссылки site.ru/user/ или нет?

Вывод на КредитЕвропаБанк Как фрилансерам из Украины РСЯ приглашает принять участие
[Удален]
#3
adsad:
Если я заблокирую яше доступ к /qwerty/ он проиндексирует ссылки site.ru/user/ или нет?

Да, проиндексирует.

muratti
На сайте с 31.05.2008
Offline
238
muratti
#4
adsad:
или не будет туда заходить вообще?

Заходить будет.

PerpetuumMobile:
Лучше не стоит, а то ведь может и не найти url'ы

Карту сайта отменили уже?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий