bulatbulat48

Рейтинг
94
Регистрация
27.04.2012
korostelev:
Добрый день, уважаемые форумчане!

На сайте с динамически формируемыми страницами хочется закрыть для поисковиков страницы, которые формируются путем добавления в названия "простых" страниц дополнительного содержимого через тире.

К примеру, имясайта.ру/матрешка нужно индексировать, а имясайта.ру/матрешка-сапожок или имясайта.ру/матрешка-сапожок-компот индексировать и обходить не нужно. На текущий момент все "сложные" страницы имеют мета-теги noindex и теги noindex на ссылках, которые ведут к сложным страницам.

Можно ли (и как) задать правило на запрет обхода и индексирования "сложных" страниц (с тире) в robots?

Можно закрыть так:

Disallow: *-

учитывайте, закроются все урлы где есть "-"

korostelev:

Что эффективнее: использование noindex и nofollow или запрет в robots?
Возникнет ли конфликт, если "сложные" страницы будут закрыты noindex и nofollow и дополнительно для них будет задан запрет в robots?

эффективнее использовать noindex, nofollow как метатег.

---------- Добавлено 29.06.2015 в 12:09 ----------

nevinskiibomzh:
Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/

Disallow: /*?*

Disallow: /*?

-одинаковые, звезды везде можно убрать, они проставляются автоматически.

Можно через dmoz

wilelf:
1. Есть сайт с фотогалереей.
2. Все картинки имеют 4 размера - мелкие, помельче, средние, большие.
3. Большие доступны только по ссылке в коде.

Вопрос: попадут ли большие фото в индекс с альтами, прописанными у средних фоток?

Или как вариант, использовать микроразметку?

я.картинки

контент добавляете?

pianeer91:
У меня на сайте есть сортировка. Когда выставляю ее, то появляются след. ссылки:
collection/beg?order=&characteristics%5B%5D=9872428&characteristics%5B%5D
которые потому успешно индексируются и появляются дубли, как мне закрыть подобную страницы (то есть закрыть страницы в ссылках которых присуствует слово haracteristics) в роботс, и не будет ли это негативно сказываться? И вобще стоит это делать?

Disallow: /*characteristics

запретит все url cо словом characteristics. Дубли убрать стоит, но тут на ваш выбор как это сделать. Для яндекса можете использовать Clean-param. Для google и яндекс - canonical

---------- Добавлено 24.06.2015 в 11:11 ----------

IIInaHeHok:
Доброе время суток, подскажите знающие люди как решить мою проблему.
Есть каталог с подкатегориями который нужно скрыть от индексации в роботсе.
сайт.ком/tkani
Но на сайте реализованы короткие урлы и подкатегории и "подкатегории подкатегорий" имеют такие адреса
сайт.ком/kozh-zam
сайт.ком/tkani-orbita
сайт.ком/1-ya-kat
Вопрос: Достаточно будет прописать в дисалоу адрес главного каталога "Disallow: /tkani/" ? Или же изза коротких URL-ов нужно прописывать все категории и подкатегории?

Заранее благодарен за помощь

"Disallow: /tkani/" это /tkani/*

- запретит раздел /tkani/ и /tkani/любой_урл

будут разрешены:

сайт.ком/kozh-zam

сайт.ком/tkani-orbita

сайт.ком/1-ya-kat

Shessmaster:
Шифрование чего - рефереров? Они никак не помешают "Ливеру" сосчитать переходы из поисковых систем.

да, реферов. Но по статистике LI показывает, что в RU сегменте заходят больше с мобильных устройств чем с десктопов (я прикреплял скриншот в прошлом сообщении).. правда ли это?

Shessmaster:
Зачем же слушать мантру? Тут факты говорят сами за себя.
Вот Яндексу ничего не остается, кроме как паразитировать в органической выдаче - вбивая туда свои серивисы и сайты.


И да, статистика – вещь неумолимая:

Можно ли доверять LI после того как ввели шифрование и его уже не ставят? почему-то LI показывает, что мобильного трафика больше чем десктопа? Но в целом по крупному проекту с минусинском уже сравнялся трафик 1:1, причем тут два в одном, яндекс летит в трубу, а google растет на глазах - какое же направление перспективнее?)

jpg android.jpg
wolf:
Ну, тут уже проскальзывали цифры в 30% падения выручки у ссылкоторговцев. Т.е. на одну треть Яндекс уже победил ;)
Эту мантру я слышу лет уже 10, а то и 15 после каждого непопулярного у сеошников телодвижения Яндекса. Уже столько баянов порвали и лопат сломали на его похоронах - не счесть. А, он всё жив, курилка. ;)

P.S. Кстати, точно так же хоронили Гугл после Пингвина :)

нужно было им выкатывать алгоритм в 2007-9 годах, когда они правили баллом и все готовы были к такому, а сейчас уже просто капают себе яму.

Сделать любимым :)

jpg ico.jpg
Всего: 780