Для Бинга в их вебмастерской панели webmaster.bing.com формально можно управлять распределением нагрузки вплоть до "по часам".
Сам не пробовал и не тестил, только наткнулся недавно на инструмент.
Редирект редиректу рознь. Если Опенкарт пересылает 302 редиректом - вечно эта бодяга будет. Если хоть где-то на сайте в коде страниц или в xml карте неЧПУшные ссылки есть - аналогично. А если в ссылках внутри и снаружи сайта и в карте только ЧПУ и 301 редирект настроен - переклеет и забудет старые адреса, но эта опера может быть нынче очень долгой, зависит от авторитетности сайта. Сайты слабые долго обходит и очень долго забывает ненужное.
Megapashko, спасибо, это естественный и очевидный ход и по статистике переходов он явно не работает...
Мучает вопрос по отсеву нецелевого трафа с нечетко выраженным интентом
Например, есть запрос st petersburg
Интересует траф штатовский
есть st petersburg в России
есть st petersburg во Флориде
оба туристические направления
как отсечь показы тем, что ищет, например, tour st petersburg подразумевая Флориду? Но не вводит в свой запрос уточнений. Не вырубив при этом показы тем, кто оттуда же ищет Россию.
Посмотрите, как здесь сделано http://www.bysleep.ru/matrasy/promteks-orient/seriya-promo/soft-strutto-plyus.html
Эмм... Что-то вроде vz.ru хотите сделать? Когда-то давно этот сайтец действительно очень сильно выделялся на фоне остальных новостных порталов. Так что идея здравая.
Интересно будет взглянуть на результат
Опередили на секунды :)))
Без проблем, успехов Вам
Главное, чтобы ИЗ файла, а не В файл :)
А это что?
User-agent: * - РАЗ
Disallow:
Crawl-delay: 4
Host: wwww.su
Sitemap: http://www.wwww.su/sitemap.xml
User-agent: * - ДВА
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /noindex/
Ну в любом случае, совет дан, а нужен он или нет - дело хозяйское :)
Про "...и так через htaccess..." - ну и зачем лишняя нагрузка на Апач?
Что мешает СРАЗУ прописать и в robots корректное зеркало, с которого забирать сайтмэп, и в самом сайтмэпе линки сделать сразу куда надо, на нужное зеркало?
Без переадресаций, меньше нагрузка на сервак + убираем лишние запросы ботов к сайту, они сразу (один запрос), без пересылки (два запроса, смотрим логи Апача), попадают куда Вам надо.---------- Добавлено 12.06.2016 в 14:11 ----------И да, простите, накосячил, Crawl-Delay конечно должен быть в обоих блоках, в отличие от Хоста, которая проприетарная Яндексная.
User-agent: *
User-agent: Yandex
Sitemap: http://wwww.su/sitemap.xml
Но как писал выше, и со мной согласились - два блока в данном случае совершенно не нужны.
Вы видимо не понимаете. В файле на один поисковик лучше всего делать один блок инструкций. Ваш случай - два блока на поисковик * :) всмысле на все. Это избыточно и возможны баги.
А то, что задержку надо ставить после дизаллоу - во-первых она и так у вас после, а во вторых из описаний формата файла естественно.---------- Добавлено 12.06.2016 в 13:58 ----------Вот альтернатива с блоками под два поисковика:
Sitemap: http://www.wwww.su/sitemap.xml---------- Добавлено 12.06.2016 в 13:58 ----------Но в данном случае, коль скоро регэкспы в Disallow Вы не используете - это совершенно не нужно.---------- Добавлено 12.06.2016 в 14:01 ----------Смотрим хелп https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#crawl-delay
Второй их пример - после Disallow, и не важно совершенно, запрещает она что-то или нет.
Аналогично про Host - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host
По моему все предельно понятно.
