Все вопросы по robots.txt

Ave Lecter
На сайте с 23.12.2008
Offline
121
#121
alexspb:
Через Ливхедер или сервисы проверяли заголовки?

Нет, подскажите где это сделать?

alexspb:
настраивайте движок.

Мне нужно сделать так, чтобы странички без / отдавали 404 ошибку? Заодно и остальные урлы, например, если ввести какую нибудь стороннюю букву в урле страницы - тоже нужно настроить 404?

alexspb
На сайте с 14.11.2005
Offline
187
#122
Ave Lecter:
Мне нужно сделать так, чтобы странички без / отдавали 404 ошибку? Заодно и остальные урлы, например, если ввести какую нибудь стороннюю букву в урле страницы - тоже нужно настроить 404?

да

Сам проверяю http://livehttpheaders.mozdev.org/

_
На сайте с 21.06.2012
Offline
31
#123

Установил <meta name="robots" content="none"> на странице, на которой есть внутренние ссылки на другие страницы сайта, которые нужно индексировать. Будет ли поисковик ходить по этим ссылкам, если они есть на других страницах (без nofollow)? Не выпадут ли они из поиска? Вдруг поисковик запоминает, что по ссылке ходить не надо и никогда туда не пойдет.

Ave Lecter
На сайте с 23.12.2008
Offline
121
#124
alexspb:
да

301 редирект - это неверный списоб?

siv1987
На сайте с 02.04.2009
Offline
427
#125
_math:
Будет ли поисковик ходить по этим ссылкам, если они есть на других страницах (без nofollow)?

Будет.

Ave Lecter:
Мне нужно сделать так, чтобы странички без / отдавали 404 ошибку? Заодно и остальные урлы, например, если ввести какую нибудь стороннюю букву в урле страницы - тоже нужно настроить 404?

А причем тут роботс.тхт? Заголовки сервера - это тема про настройки сервера, а не роботса

alexspb
На сайте с 14.11.2005
Offline
187
#126
Ave Lecter:
301 редирект - это неверный списоб?

Если бы на ненужные дубли стояли ссылки внешние, то можно было бы мудрить с 301 редиректом.

Если поисковик глючит, и в выдаче есть без слэша страницы (я сталкивался с таким), тоже можно. Но учитывая возможность таких глюков, я теперь предпочитаю .php или .html

D
На сайте с 03.09.2013
Offline
11
#127

Господа хорошие, суть моего вопроса на 12-й страниц ене раскрыта, прошу помощи от знающих.

K4
На сайте с 20.06.2013
Offline
128
#128

Есть страницы типа http://site.ru/stranica. На них установлен виджет фейсбука.

После проверки через xenu links выдает адреса с http://site.ru/stranica#fb-root на всех страницах.

Как правильно настроить robots.txt, чтобы эти ссылки не были найдены? И это нужно делать?

project33
На сайте с 30.04.2011
Offline
94
#129

ничего не надо настраивать. классические анкоры такого рода не индексируются поисковиками

ebitok
На сайте с 07.11.2011
Offline
112
#130

Ламерский вопрос от меня, точней уточнение)

На сайте есть несколько страниц ?page=1 ?page=2 и т.д.

На этих страницах ссылки на страницы: index.php?news=1 index.php?news=2 и т.д.

в robots.txt у меня:

Disallow: /*?page=

Нужно: что бы не индексировались страницы ?page , но news должны индексироваться.

Вопрос: будет ли индексироваться news если закрыты ?page ? и доступ к этим News лежит только через page

Просто хз уже на что думать, уже 2 апа не индексит(

Такое ощущение, что робот не обходит вообще странички которые в Disallow, хотя должен обходить, но не индексировать их

Надеюсь поняли меня😂

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий