Как используют robot.txt?

12
N4
На сайте с 19.09.2008
Offline
277
801

везде пишут, что он нужен чтобы запретить индексацию отдельных страниц, есть даже примеры как это делается. вот только я не могу понять зачем?

ведь вроде бы, чем больше страниц проиндексировано, тем больше вероятность, что могут зайти на страницу случайным запросом

NikitoZZ
На сайте с 04.04.2007
Offline
208
#1

Запрещают те страницы, которые пользователям интереса не предоставляют. Например admin.php

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#2

Вы хотите, чтобы все знали где у Вас админка и т.п.?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
sabotage
На сайте с 14.02.2007
Offline
192
#3
LEOnidUKG:
Вы хотите, чтобы все знали где у Вас админка и т.п.?

+1. По теме нужен htaccess, а не robots ;)

nikki4:
ведь вроде бы, чем больше страниц проиндексировано, тем больше вероятность, что могут зайти на страницу случайным запросом

Закрывают от индексации версию страницы для печати, ссылки с сессиями и тд.

K
На сайте с 31.01.2001
Offline
737
#4
nikki4:
чем больше страниц проиндексировано, тем больше вероятность, что могут зайти на страницу случайным запросом

nikki4, в правилах раздела написано, что вы обязаны ознакомиться с первичной документацией.

http://help.yandex.ru/webmaster/?id=995298

"Могу ли я помочь роботу быстрее индексировать мой сайт?

Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями — во-первых, исключите из индексации ненужную информацию, во-вторых, сообщайте роботу о новых страницах. Для этого:

* запретите в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;"

и далее по тексту.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Mikser
На сайте с 22.07.2008
Offline
141
#5

если страницы нерелевантные совсем,то их лучше закрывать + область админки,все это в индексе не нужно и на отношении ПС к сайту скажется позитивно

angr
На сайте с 11.05.2006
Offline
413
#6

NikitoZZ, Mikser, что у вас за кривые админки, что они в индекс попадают....

angr добавил 24.09.2008 в 22:21

LEOnidUKG:
Вы хотите, чтобы все знали где у Вас админка и т.п.?

ага, какойто странный народ пошел... :)

Требуется СЕО-Специалист в Кишиневе, в офис. ()
sabotage
На сайте с 14.02.2007
Offline
192
#7
Mikser:
если страницы нерелевантные совсем,то их лучше закрывать + область админки

Вредные советы? Иначе обоснуйте.

angr
На сайте с 11.05.2006
Offline
413
#8
sabotage:
Вредные советы? Иначе обоснуйте.

зачем? запутает только новичков...

NikitoZZ
На сайте с 04.04.2007
Offline
208
#9
angr:
NikitoZZ, что у вас за кривые админки, что они в индекс попадают....

Про админку я как пример написал

Mikser
На сайте с 22.07.2008
Offline
141
#10

все что не имеет смыловой или еще какой ценности для ПС или людей я в роботах закрываю

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий