Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Немного про robots.txt

12
[Удален]
#11

Прошу еще раз совета у тех кто сталкивался.

Надо запретить всё что не входит в ЧПУ то-есть всё что начинается с "/index.php?do="

Можно добавить "Disallow: /index.php?do=*"

но тогда не попадет под раздачу страница "/index.php" ?

webulim добавил 18.05.2009 в 00:57

Хотя я допер сам.

Прописав: Disallow: /index.php?do=* я запретил к индексации страницы:

http://site.ru/index.php?do=

http://site.ru/index.php?do=bla

http://site.ru/index.php?do=blabla

и т.д.

Новые стандарты для директивы О чем нужно помнить OpenAI разрешила сайтам закрывать
H1
На сайте с 17.05.2009
Offline
0
hohotushka19
#12
mironof:
Подскажите, а что может самое страшное может произойти, если вообще не составлять robots.txt?

.... медленнее индексация, не полная индексация и т.д.

Ребя ну ответьте на вопрос. Мне тоже интересно.

раздача WebMoney на моей страничке
yanus
На сайте с 21.01.2009
Offline
348
yanus
#13
hohotushka19:
Ребя ну ответьте на вопрос. Мне тоже интересно.

1. может неправильно определить основное зеркало - с www или без.

2. может проиндексировать страницы дубли, если сайтсделан с помощью CMS

3. может не найти sitemap, если он не указан в панели ВМ

basilic
На сайте с 16.05.2008
Offline
369
basilic
#14
hohotushka19:
Ребя ну ответьте на вопрос. Мне тоже интересно.

ничего страшного без роботса не происходит, отсутствием роботса вы кагбэ сигнализируете:) поисковой системе то, что разрешаете индексировать ваш сайт на ее усмотрение.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий