halkhogan: Ты имеешь в виду, что пропадут все страницы содержащие букву f ? То есть так : /*(все) буквы f/, а если так, то только /*(все)/ f идущие после слеша. ?
А разве это странно? Есть понятие "шаблон", "маска"...
Подгоняй правила под урл или урл под правила. Никакой высшей математики.
halkhogan: Мы пока ничего не "клеем", а потому и спрашиваем, как правильно указать главный хост, чтобы не навредить? Наш "роботс", пока, как указано в первом примере, без Disallow: /, просто увидели на сайтах у конкурентов (успешных), почитали на некоторых форумах и теперь ищем ответ.
halkhogan: Можно site.com/products/show/rs_v/1/rs_o/1=a/rs_s/-1/c/11217/sc/KT78645/v/apple=sony/f/00277.htm Когда посетитель сортирует допустим, ноутбуки: по вендорам, диагонали, процессору и т.д., то такие "мусорные" страницы закрываем, хотя может наш программист чета напутал.
Я вот никогда не троллю!
копирайт
Ты безграмотен.
Кто не ставит пробелы, тот - тролль!
Ты имеешь в виду, что пропадут все страницы содержащие букву f ? То есть так : /*(все) буквы f/, а если так, то только /*(все)/ f идущие после слеша. ?
А разве это странно? Есть понятие "шаблон", "маска"...
Подгоняй правила под урл или урл под правила. Никакой высшей математики.
По-моему, это элементарщина.
Мы пока ничего не "клеем", а потому и спрашиваем, как правильно указать главный хост, чтобы не навредить? Наш "роботс", пока, как указано в первом примере, без Disallow: /, просто увидели на сайтах у конкурентов (успешных), почитали на некоторых форумах и теперь ищем ответ.
Сделай вот так:
User-agent: Yandex
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: /*/v/
Disallow: /*/f/
Host: site.com
Sitemap: http://www.site.com/sitemap.xml
Можно
site.com/products/show/rs_v/1/rs_o/1=a/rs_s/-1/c/11217/sc/KT78645/v/apple=sony/f/00277.htm
Когда посетитель сортирует допустим, ноутбуки: по вендорам, диагонали, процессору и т.д., то такие "мусорные" страницы закрываем, хотя может наш программист чета напутал.
Сделай лучше так:
Disallow: /*/f/
Иначе попадут страницы типа:
/bla-bla/off/bla
Это фильтр сортировки товаров.
Что этим закрываете? Можно пример адреса посмотреть?
User-agent: *
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: */v/*=*
Disallow: /*f/
Host: site.com
Sitemap: http://www.site.com/sitemap.xml
Disallow: /*f/ - Это что?
как бы Вы обработали вручную так с 1000-2000 писем в день...
Скриптом парсить текст и выводить потом нормально. А то что выше это просто ужас какой-то.
К кому Вас отнести останется загадкой природы
Как к кому? Кто у нас звук "МЕее" издаёт?