- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Есть такой файл robots.txt
"
User-agent: *
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: */v/*=*
Disallow: /*f/
Sitemap: http://www.site.com/sitemap.xml
Host: site.com
"
У сайта "site.com" есть 5 зеркал. Главное из них было www.site.com, потому как было создано самым первым с разницей между остальными зеркалами года два, и тогда не было строки "Host: site.com ". Потом решили сделать главным зеркалом site.com, потому, что оно короче и Яндекс рано или поздно его все равно поклеит и по идее должен выбрать то, что короче, но ведь может сделать это и черти как, поэтому и добавили эту строчку. Некоторые говорят, что для Яндекса необходимо писать HOST только после такой комбинации - Disallow: / . Подскажите как правильно, как написано выше, или может так
"
User-agent: *
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: */v/*=*
Disallow: /*f/
Sitemap: http://www.site.com/sitemap.xml
Disallow: /
Host: site.com
" и нет ли где ошибки, потому, что я всегда думал, что "Disallow: /" Запрещает индексацию всего сайта и после него необходимо писать, скорее ненужные зеркала, нежели то, которое главное ? Спасибо.
User-agent: *
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: */v/*=*
Disallow: /*f/
Host: site.com
Sitemap: http://www.site.com/sitemap.xml
Disallow: /*f/ - Это что?
User-agent: *
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: */v/*=*
Disallow: /*f/
Host: site.com
Sitemap: http://www.site.com/sitemap.xml
Disallow: /*f/ - Это что?
Это фильтр сортировки товаров. Это в принципе Интернет магазин, на котором немеряно страниц, и фильтр вырубили.
Это фильтр сортировки товаров.
Что этим закрываете? Можно пример адреса посмотреть?
Яндекс сам говорит:
А Disallow: / - зачем? Вы же сайты клеите?
Указывайте хост главного зеркала. И Сайтмап ниже Хоста поместите.
Что этим закрываете? Можно пример адреса посмотреть?
Можно
site.com/products/show/rs_v/1/rs_o/1=a/rs_s/-1/c/11217/sc/KT78645/v/apple=sony/f/00277.htm
Когда посетитель сортирует допустим, ноутбуки: по вендорам, диагонали, процессору и т.д., то такие "мусорные" страницы закрываем, хотя может наш программист чета напутал.
Можно
site.com/products/show/rs_v/1/rs_o/1=a/rs_s/-1/c/11217/sc/KT78645/v/apple=sony/f/00277.htm
Когда посетитель сортирует допустим, ноутбуки: по вендорам, диагонали, процессору и т.д., то такие "мусорные" страницы закрываем, хотя может наш программист чета напутал.
Сделай лучше так:
Disallow: /*/f/
Иначе попадут страницы типа:
/bla-bla/off/bla
Яндекс сам говорит:
А Disallow: / - зачем? Вы же сайты клеите?
Указывайте хост главного зеркала. И Сайтмап ниже Хоста поместите.
Мы пока ничего не "клеем", а потому и спрашиваем, как правильно указать главный хост, чтобы не навредить? Наш "роботс", пока, как указано в первом примере, без Disallow: /, просто увидели на сайтах у конкурентов (успешных), почитали на некоторых форумах и теперь ищем ответ. Правда, на сайте у конкурентов robots.txt был такой
"
User-Agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /*sort=*
User-agent: Yahoo
Disallow: /
Host: site.com
"
halkhogan, если честно, вы пробовали читать http://help.yandex.ru/webmaster/?id=996567 ?
Вы хоть раз видели, чтобы директива Host болталась в файле как гавно в проруби?
К какому поисковику она должна относиться, вы в курсе?
Мы пока ничего не "клеем", а потому и спрашиваем, как правильно указать главный хост, чтобы не навредить? Наш "роботс", пока, как указано в первом примере, без Disallow: /, просто увидели на сайтах у конкурентов (успешных), почитали на некоторых форумах и теперь ищем ответ.
Сделай вот так:
User-agent: Yandex
Disallow: /cpbazu
Disallow: /search
Disallow: /sxd
Disallow: /noimages
Disallow: /*/v/
Disallow: /*/f/
Host: site.com
Sitemap: http://www.site.com/sitemap.xml
Сделай лучше так:
Disallow: /*/f/
Иначе попадут страницы типа:
/bla-bla/off/bla
Ты имеешь в виду, что пропадут все страницы содержащие букву f ? То есть так : /*(все) буквы f/, а если так, то только /*(все)/ f идущие после слеша. ?