robots.txt - все верно?

emtecif
На сайте с 05.03.2012
Offline
150
598

Вопщем хочу узнать, правильный ли у меня этот файл?

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /tags/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm


Allow: /
Sitemap: http://example.com/sitemap.xml
Host: example.com

Disallow: /engine/go.php
Disallow: /engine/download.php

тут видно что запрещается индексация залитых файлов. Но гугл всеравно их индексует, и тем самым мне уменьшает % страниц под фильтрами.

zenja
На сайте с 04.08.2010
Offline
139
#1
emtecif:
Вопщем хочу узнать, правильный ли у меня этот файл?



Disallow: /engine/go.php
Disallow: /engine/download.php

тут видно что запрещается индексация залитых файлов. Но гугл всеравно их индексует, и тем самым мне уменьшает % страниц под фильтрами.

это указывает, что не нужно индексировать файлы go.php и download.php, а не те документы, которые они обрабатывают.

Про фильтр, гугл и страницы ничего не понятно🤪

Быть минимально гордым, быть максимально честным! Услуги по продвижению Ваших сайтов: прозрачно, качественно, недорого (/ru/forum/779787)
kimberlit
На сайте с 13.03.2007
Offline
370
#2
emtecif:


Allow: /

Это зачем? Да ещё с пустыми строками.

emtecif
На сайте с 05.03.2012
Offline
150
#3
kimberlit:
Это зачем? Да ещё с пустыми строками.

А как все правильно записать?

kimberlit
На сайте с 13.03.2007
Offline
370
#4
emtecif:
А как все правильно записать?

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /tags/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: http://example.com/sitemap.xml

Host: example.com

Хотя бы так.

yesait
На сайте с 11.12.2011
Offline
4
#5
kimberlit:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /tags/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Sitemap: http://example.com/sitemap.xml
Host: example.com

Хотя бы так.

Стандартный вариант, вдруг у него там ещё странички есть, которые от индексации необходимо закрыть!

kimberlit
На сайте с 13.03.2007
Offline
370
#6
yesait:
Стандартный вариант, вдруг у него там ещё странички есть, которые от индексации необходимо закрыть!

Ну, я не телепат. Просто человеку показал, что нельзя пустые строки между директивами делать. А какие у него там директивы, так это его головная боль. Не так ли, мадам?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий