Disallow The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
Sinaps: Можно ведь быстро проверить. Сваяли роботс и проверяйте в кабинете вебмастера Яндекса
Это неинтересно и лень. Проще спросить на форуме, там всегда ответят "знатоки", даже не читая ваш вопрос (особенно ценны посты #3 и #4).
А уж самому в первоисточники заглядывать - это вообще западло.
Можно конечно оставить index.php
... и вес потечет на страницу закрытую в robots.
Но зачем делать как не надо, если можно сделать как надо?
Как не надо - само получится.
Закроют. Alex91, вы удивлены?!
Ссылки из FAQ для новичков не читали?
Как бы уже пора.
http://www.robotstxt.org/orig.html
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
Можно ведь быстро проверить. Сваяли роботс и проверяйте в кабинете вебмастера Яндекса
Это неинтересно и лень. Проще спросить на форуме, там всегда ответят "знатоки", даже не читая ваш вопрос (особенно ценны посты #3 и #4).
А уж самому в первоисточники заглядывать - это вообще западло.
Второе.
Иначе будет дубль.
Ему плевать, что у вас установлено на сайте, дле него главное - качество большого поиска, чтобы туда не попала всякая дрянь.
Поэтому - не поможет.
automatica, zloy.alex, вы полагаете, что ваши варианты закроют то, что нужно?
и .htm
Вы вообще, читали первый пост до конца?
Атас какой-то. Зачем пытаться умничать и писать глупости, если правильный ответ уже был дан в посте #2 ?
короче ее нет на первой странице выдачи по запросу site:.
А что, должна быть? Почему вы так считаете?
Еще на главной стояло очень много внешних ссылок (около 25) и я это обнаружил 2 дня назад
Т.е. их разместили не вы?
Накликиватель может даже не заходить на сайт ТСа, а просто повесть его код адсенса на своей странице и кликать с нее.
А как же список разрешенных сайтов?
Вы можете подсказать способ показывать линки?
В пункте 3.1 правил форума написано кое-что полезное на эту тему.
либо считая себя такими крутыми, либо не хотя кому-то помогать
листают темы и пишут всякую хрень, простите
Это вы пишете всякую хрень, уже 14 постов, а вы так и не указали запрос, который вас интересует.
Разные сайты не могут склеиться. И robots.txt тут ни при чем.
И по-моему, вы путаетесь в показаниях:
Есть два сайта, которые склеились
Но склейка происходит до сих пор.
Или нечетко выражаете свои мысли.
Начните с начала, что за два сайта?