На сайте с динамически формируемыми страницами хочется закрыть для поисковиков страницы, которые формируются путем добавления в названия "простых" страниц дополнительного содержимого через тире.
К примеру, имясайта.ру/матрешка нужно индексировать, а имясайта.ру/матрешка-сапожок или имясайта.ру/матрешка-сапожок-компот индексировать и обходить не нужно. На текущий момент все "сложные" страницы имеют мета-теги noindex и теги noindex на ссылках, которые ведут к сложным страницам.
Можно ли (и как) задать правило на запрет обхода и индексирования "сложных" страниц (с тире) в robots?
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
korostelev:
Что эффективнее: использование noindex и nofollow или запрет в robots? Возникнет ли конфликт, если "сложные" страницы будут закрыты noindex и nofollow и дополнительно для них будет задан запрет в robots?
wilelf: 1. Есть сайт с фотогалереей.
2. Все картинки имеют 4 размера - мелкие, помельче, средние, большие.
3. Большие доступны только по ссылке в коде.
Вопрос: попадут ли большие фото в индекс с альтами, прописанными у средних фоток?
pianeer91: У меня на сайте есть сортировка. Когда выставляю ее, то появляются след. ссылки:
collection/beg?order=&characteristics%5B%5D=9872428&characteristics%5B%5D
которые потому успешно индексируются и появляются дубли, как мне закрыть подобную страницы (то есть закрыть страницы в ссылках которых присуствует слово haracteristics) в роботс, и не будет ли это негативно сказываться? И вобще стоит это делать?
Disallow: /*characteristics
запретит все url cо словом characteristics. Дубли убрать стоит, но тут на ваш выбор как это сделать. Для яндекса можете использовать Clean-param. Для google и яндекс - canonical
---------- Добавлено 24.06.2015 в 11:11 ----------
IIInaHeHok: Доброе время суток, подскажите знающие люди как решить мою проблему.
Есть каталог с подкатегориями который нужно скрыть от индексации в роботсе.
сайт.ком/tkani
Но на сайте реализованы короткие урлы и подкатегории и "подкатегории подкатегорий" имеют такие адреса
сайт.ком/kozh-zam
сайт.ком/tkani-orbita
сайт.ком/1-ya-kat
Вопрос: Достаточно будет прописать в дисалоу адрес главного каталога "Disallow: /tkani/" ? Или же изза коротких URL-ов нужно прописывать все категории и подкатегории?
Shessmaster: Шифрование чего - рефереров? Они никак не помешают "Ливеру" сосчитать переходы из поисковых систем.
да, реферов. Но по статистике LI показывает, что в RU сегменте заходят больше с мобильных устройств чем с десктопов (я прикреплял скриншот в прошлом сообщении).. правда ли это?
Shessmaster: Зачем же слушать мантру? Тут факты говорят сами за себя. Вот Яндексу ничего не остается, кроме как паразитировать в органической выдаче - вбивая туда свои серивисы и сайты.
И да, статистика – вещь неумолимая:
Можно ли доверять LI после того как ввели шифрование и его уже не ставят? почему-то LI показывает, что мобильного трафика больше чем десктопа? Но в целом по крупному проекту с минусинском уже сравнялся трафик 1:1, причем тут два в одном, яндекс летит в трубу, а google растет на глазах - какое же направление перспективнее?)
wolf: Ну, тут уже проскальзывали цифры в 30% падения выручки у ссылкоторговцев. Т.е. на одну треть Яндекс уже победил ;) Эту мантру я слышу лет уже 10, а то и 15 после каждого непопулярного у сеошников телодвижения Яндекса. Уже столько баянов порвали и лопат сломали на его похоронах - не счесть. А, он всё жив, курилка. ;)
P.S. Кстати, точно так же хоронили Гугл после Пингвина :)
нужно было им выкатывать алгоритм в 2007-9 годах, когда они правили баллом и все готовы были к такому, а сейчас уже просто капают себе яму.
Добрый день, уважаемые форумчане!
На сайте с динамически формируемыми страницами хочется закрыть для поисковиков страницы, которые формируются путем добавления в названия "простых" страниц дополнительного содержимого через тире.
К примеру, имясайта.ру/матрешка нужно индексировать, а имясайта.ру/матрешка-сапожок или имясайта.ру/матрешка-сапожок-компот индексировать и обходить не нужно. На текущий момент все "сложные" страницы имеют мета-теги noindex и теги noindex на ссылках, которые ведут к сложным страницам.
Можно ли (и как) задать правило на запрет обхода и индексирования "сложных" страниц (с тире) в robots?
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
Что эффективнее: использование noindex и nofollow или запрет в robots?
Возникнет ли конфликт, если "сложные" страницы будут закрыты noindex и nofollow и дополнительно для них будет задан запрет в robots?
эффективнее использовать noindex, nofollow как метатег.
---------- Добавлено 29.06.2015 в 12:09 ----------
Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/
Disallow: /*?*
Disallow: /*?
-одинаковые, звезды везде можно убрать, они проставляются автоматически.
Можно через dmoz
http://forums.searchenginewatch.com/
1. Есть сайт с фотогалереей.
2. Все картинки имеют 4 размера - мелкие, помельче, средние, большие.
3. Большие доступны только по ссылке в коде.
Вопрос: попадут ли большие фото в индекс с альтами, прописанными у средних фоток?
Или как вариант, использовать микроразметку?
я.картинки
контент добавляете?
У меня на сайте есть сортировка. Когда выставляю ее, то появляются след. ссылки:
collection/beg?order=&characteristics%5B%5D=9872428&characteristics%5B%5D
которые потому успешно индексируются и появляются дубли, как мне закрыть подобную страницы (то есть закрыть страницы в ссылках которых присуствует слово haracteristics) в роботс, и не будет ли это негативно сказываться? И вобще стоит это делать?
Disallow: /*characteristics
запретит все url cо словом characteristics. Дубли убрать стоит, но тут на ваш выбор как это сделать. Для яндекса можете использовать Clean-param. Для google и яндекс - canonical
---------- Добавлено 24.06.2015 в 11:11 ----------
Доброе время суток, подскажите знающие люди как решить мою проблему.
Есть каталог с подкатегориями который нужно скрыть от индексации в роботсе.
сайт.ком/tkani
Но на сайте реализованы короткие урлы и подкатегории и "подкатегории подкатегорий" имеют такие адреса
сайт.ком/kozh-zam
сайт.ком/tkani-orbita
сайт.ком/1-ya-kat
Вопрос: Достаточно будет прописать в дисалоу адрес главного каталога "Disallow: /tkani/" ? Или же изза коротких URL-ов нужно прописывать все категории и подкатегории?
Заранее благодарен за помощь
"Disallow: /tkani/" это /tkani/*
- запретит раздел /tkani/ и /tkani/любой_урл
будут разрешены:
сайт.ком/kozh-zam
сайт.ком/tkani-orbita
сайт.ком/1-ya-kat
Шифрование чего - рефереров? Они никак не помешают "Ливеру" сосчитать переходы из поисковых систем.
да, реферов. Но по статистике LI показывает, что в RU сегменте заходят больше с мобильных устройств чем с десктопов (я прикреплял скриншот в прошлом сообщении).. правда ли это?
Зачем же слушать мантру? Тут факты говорят сами за себя.
Вот Яндексу ничего не остается, кроме как паразитировать в органической выдаче - вбивая туда свои серивисы и сайты.
И да, статистика – вещь неумолимая:
Можно ли доверять LI после того как ввели шифрование и его уже не ставят? почему-то LI показывает, что мобильного трафика больше чем десктопа? Но в целом по крупному проекту с минусинском уже сравнялся трафик 1:1, причем тут два в одном, яндекс летит в трубу, а google растет на глазах - какое же направление перспективнее?)
Ну, тут уже проскальзывали цифры в 30% падения выручки у ссылкоторговцев. Т.е. на одну треть Яндекс уже победил ;)
Эту мантру я слышу лет уже 10, а то и 15 после каждого непопулярного у сеошников телодвижения Яндекса. Уже столько баянов порвали и лопат сломали на его похоронах - не счесть. А, он всё жив, курилка. ;)
P.S. Кстати, точно так же хоронили Гугл после Пингвина :)
нужно было им выкатывать алгоритм в 2007-9 годах, когда они правили баллом и все готовы были к такому, а сейчас уже просто капают себе яму.
Сделать любимым :)