robots.txt и ЧПУ

A1
На сайте с 15.07.2013
Offline
20
919

Всем здравствуйте=)

У меня возник следующий вопрос: на сайте включено чпу. Нужно ли в robots.txt запрещать ссылки на не-чпу страницы (чтобы не было дублей)? Вот тут почему-то гугл не рекомендует это делать https://support.google.com/webmasters/answer/66359

Google не рекомендует блокировать доступ поисковых роботов к повторяющемуся контенту с помощью файла robots.txt или иных способов. Если поисковые системы не имеют возможности сканировать страницы с повторяющимся контентом, то они не смогут автоматически определять, что разные URL имеют одинаковый контент, и будут обращаться с ними как с уникальными страницами. Наилучший выход из этого положения – разрешить поисковым системам сканировать все URL, предварительно отметив их как повторяющиеся с помощью элемента link rel="canonical", функции обработки параметров URL или переадресации 301. Если на вашем сайте очень много страниц с повторяющимся контентом, рекомендуется настроить скорость сканирования в Инструментах для веб-мастеров.

Любопытно услышать комментарии форумчан, почему так?

TF-Studio
На сайте с 17.08.2010
Offline
334
#1

301 лучше.

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
DiAksID
На сайте с 02.08.2008
Offline
236
#2
TF-Studio:
301 лучше.

и чем же? и не будет ли это физически те же самые дубли просто теперь один с 200, а другой с 301 кодом возврата ;) ? ведь каждый из этих адресов по факту будет отдавать индексируемый контент. каноникал же - это прямой запрет индексации, в отличии от...

show must go on !!!...
bay_ebook
На сайте с 28.05.2010
Offline
111
#3
DiAksID:
и чем же? и не будет ли это физически те же самые дубли просто теперь один с 200, а другой с 301 кодом возврата ;) ? ведь каждый из этих адресов по факту будет отдавать индексируемый контент. каноникал же - это прямой запрет индексации, в отличии от...

поисковики, когда видят 301 редирект "склеивают" страницы, делая одну, именно одно, а не дубли.

Нужен прогер на php+mysql+понимание чужего кода? (/ru/forum/540660) Вам сюда PHP-шаман (http://php-shaman.pw/)
TF-Studio
На сайте с 17.08.2010
Offline
334
#4

DiAksID, прежде чем писать, стоит проверить свои знания.

Вопрос выше - основы основ.

Вы даете совершенно не верные ответы.

DiAksID
На сайте с 02.08.2008
Offline
236
#5
bay_ebook:
поисковики, когда видят 301 редирект "склеивают" страницы, делая одну, именно одно, а не дубли.

склеивают что и как ? игнорят контент 301 или всасывают всё же ? как расставляют приоритеты ?

[имхо] для ПС 301 с несуществующего на данный момент адреса и с отдающей контент страницы две большие разницы - иначе и писали бы в рекомендациях то же самые, что и при простом "переезде урла". [/имхо]

TF-Studio:
DiAksID, прежде чем писать, стоит проверить свои знания.
Вопрос выше - основы основ.
Вы даете совершенно не верные ответы.

а я не даю ответов 😂 я задаю впоросы, читайте внимательнее.

и вот основной (без обид): почему Вы считаете себя в этом вопросе умнее Гугла ? Вы лучше знаете внутреннюю кухню их ботов?

WebAlt
На сайте с 02.12.2007
Offline
266
#6
DiAksID:
и чем же? и не будет ли это физически те же самые дубли просто теперь один с 200, а другой с 301 кодом возврата ;) ? ведь каждый из этих адресов по факту будет отдавать индексируемый контент. каноникал же - это прямой запрет индексации, в отличии от...

Всё с точностью до наоборот, страницы с 301-м редиректом не индексируются, индексируется только страница на которую идёт перенаправление. А rel="canonical" как раз не является строгим атрибутом и может быть проигнорирован поисковиком.

https://support.google.com/webmasters/answer/139394

https://support.google.com/webmasters/answer/93633

http://help.yandex.ru/webmaster/?id=1127756#canonical

http://help.yandex.ru/webmaster/?id=995305

TF-Studio
На сайте с 17.08.2010
Offline
334
#7

Я как бы практик, а не гипотетик...

DiAksID
На сайте с 02.08.2008
Offline
236
#8
TF-Studio:
Я как бы практик, а не гипотетик...

☝ абсолютно верно, поэтому наверно тем более не стоит выдавать аксиом, что боты ПС будет реагировать на 301 тупо точно так же как броузер, а следовать инструкция самой ПС, если уж она соизволила конкретно указать, что именно стоит использовать в данном случае.

ЗЫ: я есссессно, как и предыдущие "ораторы", почти уверен, что боты именно тупо склеят адреса, особенно боты яндекса. но вот этого "почти" хватает на то, что бы всё же использовать каноникал ;) ...

firstPR
На сайте с 24.02.2013
Offline
15
#9

Ну а вы просто не размещайте на сайте не ЧПУ ссылки и тогда боты и не будут их индексировать, в чём собственно то и проблема.

A1
На сайте с 15.07.2013
Offline
20
#10

Я и хотел размещать на главной и в карте сайта, и на страницах сайта только чпу-ссылки.

А ссылки типа site.ru/forum.php?page=1&y=blablabla (все ссылки с ?) вообще запретить индексировать ч-з robots. Но google, на сколько я понял, запрещать ч-з роботс не рекомендует. Для меня не понятно - почему он не рекомендует.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий