SEO - уязвимости.

1 23
Z
На сайте с 13.12.2009
Offline
452
#21
yanus:
раз уж я тут смуту навел, сам и прояснять буду:

Disallow: /index.php - запрещает индексацию страниц вида sait.ru/index.php, sait.ru/catalog/index.php и тд.

Disallow: /*.php - запрещает индексацию всех страниц с расширением .php, например sait.ru/index.php , sait.ru/stranica.php, sait.ru/catalog/stranica2.php и тд

А с какого перепугу при "Disallow: /index.php" запретится индексация адресов вида sait.ru/catalog/index.php? Этот адрес прекрасно жить в индексе должен, а вот все адреса типа sait.ru/index.php?bla-bla-bla будут запрещены к индексации, а на некоторых движках это все равно, что весь сайт закрыть :)

Консультации, seo-аудиты - https://seo-consulting.su Профессионально и без воды
L
На сайте с 21.03.2010
Offline
2
#22
yanus:
то есть вы хотите убрать sait.ru/ , а sait.ru/index.php оставить?

да, именно так, я хочу один из них убрать, а один остнавить.)

Lisandr добавил 25.03.2010 в 09:02

zusull:
А с какого перепугу при "Disallow: /index.php" запретится индексация адресов вида sait.ru/catalog/index.php? Этот адрес прекрасно жить в индексе должен, а вот все адреса типа sait.ru/index.php?bla-bla-bla будут запрещены к индексации, а на некоторых движках это все равно, что весь сайт закрыть :)

на сколько я зная, yanus абсолютно прав. А вот, чтобы запретить индексацию всего нужно просто "disallow: /"

Lisandr добавил 25.03.2010 в 09:57

богоносец:
Дайте сцылку на хелп... про robots.txt

Вроде бы было так:

Disallow: /index.php
# запрещает индексацию страниц вида sait.ru/index.php, sait.ru/index.php?t=477300&page=2 и тд. но не всегда структура урлов такая. А если такая, то Disallow: /index.php$


Сделает так, что робот не будет индексировать зеркало с адресом sait.ru/index.php
хватит sait.ru/

Про ццц.сайт.ру vs сайт.ру /ru/forum/274460 не поленитесь дочитать...

прочитал, все - от и до. Пришел к выводу, что там все не однозначно. Одни советуют использовать 301 р до склейки, другие же после склейки, однозначного мнения нет, какое ваше мнение?

Z
На сайте с 13.12.2009
Offline
452
#23
Lisandr:

на сколько я зная, yanus абсолютно прав. А вот, чтобы запретить индексацию всего нужно просто "disallow: /"

Прочитайте еще раз правила составления роботс.тхт по версии яндекса. Запретить индексацию всего сайта можно разными способами. Вот цитата из инструкции яндекса:

"...По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex

Disallow: /cgi-bin* # блокирует доступ к страницам

# начинающимся с '/cgi-bin'

Disallow: /cgi-bin # то же самое.."

соответственно конструкция "Disallow: /index.php" будет равнозначна конструкции "Disallow: /index.php*" которая запретит к индексаци все адреса, начинающиеся с /index.php. Другими словами, я ндекс не проиндексирует главную страницу сайта, причем независимот от того есть у нее приставка www или нет, а также не проиндексирует все страницы вида site.ru/index.php?******, если такие есть на сайте

богоносец
На сайте с 30.01.2007
Offline
774
#24
zusull:
конструкция "Disallow: /index.php" будет равнозначна конструкции "Disallow: /index.php*" которая запретит к индексаци все адреса, начинающиеся с /index.php. Другими словами, Яндекс не проиндексирует главную страницу сайта

Проиндексирует главную страницу по адресу site.ru/ (или ццц.site.ru/)

Lisandr:
Одни советуют использовать 301 р до склейки, другие же после склейки, однозначного мнения нет, какое ваше мнение?

Нет его. Но всяких обстоятельств оказывается много...

L
На сайте с 21.03.2010
Offline
2
#25

хорошо, помогите подитожить, как мне убрать зеркало "site.ru/index.php", а зеркало "site.ru/" оставить, оно будет единственное. Сайт один, домин тоже, зеркала разные. index.php - главная страница сайта, которую и нужно продвинуть.

Dexter88
На сайте с 06.10.2006
Offline
131
#26
Сергей Владимирович:
А можно вопрос а зачем это все делать ? Ну две морды в индексе ну и что дальше то разве это плохо :o ?

Плохо, потому, как получается дубль главной страницы.

Drive-Tube.Ru - Все о твоем настоящем и будущем авто! (http://drive-tube.ru)
богоносец
На сайте с 30.01.2007
Offline
774
#27
Lisandr:
index.php - главная страница сайта, которую и нужно продвинуть.

/index.php — файл, формирующий главную страницу, которую бот может знать по разным урлам (это и есть т.н. зеркала).

как мне убрать зеркало "site.ru/index.php", а зеркало "site.ru/" оставить

Кучу вариантов предложили.

Ответственность за использование любого из них останется вам.

Сергей Владимирович:
А можно вопрос а зачем это все делать ? Ну две морды в индексе ну и что дальше то разве это плохо ?
В конечно счете, существует риск, что это закончится тем, что будет рассматриваться как дублированный контент.
/ru/news/258
Мэтт Каттс:
Да, именно, поисковики хорошо справляются с этим в большинстве случаев. Простые случаи, как правило, не проблема, но я видел случаи, когда множественные версии страницы были проиндексированы с различными Session ID. Всегда лучше позаботиться об этом на своем сайте самому, а не ждать, когда об этом позаботятся поисковики.
L
На сайте с 21.03.2010
Offline
2
#28

Хорошо, тогда всем спасибо), буду пробовать...

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий