все низкочастотники можно поделить на три группы:
1. Постоянные. Это те, которые повторяются из месяца в месяц. К ним можно отнести названия конкретных видов товаров и словосочетания, наиболее часто с ними употребляемые.
2. Периодические. Это те, активность на которые проявляется только в/через какие-то определенные промежутки времени. Например, на праздники. В это выремя в логах достаточно часто в логах можно увидеть запросы вида "название_товара скидка" и аналогичные.
3. Разовые. Это те, которые проявляются при всплеске активности на какой-то уникальны, неповторимый вдальнейшем вид товара. Например, выпустила Тошиба эксклюзивной ограниченной партией какой-то навороченный ноутбук за небольшие деньги. Будет наблюдаться (условно) небольшой всплеск, который пропадет после окончания акции. Больше такие слова в логах проявляться не будут.
Теперь по сути Вашего вопроса.
Рассмотрим каждую из этих групп поподробнее, начиная с последней.
3. Если Вы заранее проинформированы о такой, к примеру, акции, то очень разумно просчитать частоту обновлений поисковой системы, продумать провести рекламную кампанию у себя на сайте, а также порегистрироваться по каталогам и т.п., чтобы к пику интереса покупателей к этому виду товара в поисковиках оказаться на высоте, тем самым сняв все сливки. Потом же уже от 2этих низкочастотников, естественно, никако-го толка не будет. Если всплески спонтанны, то тут Вы уже не успеете приготовиться как следует.
2. Так как праздники вещь заранее известная, то здетсь уже не приходится пользоваться предчувствиями, смекалкой и т.п., а можно строго рассчетливо приготовиться к праздникам, также заранее прорегистрировав по каталогам и т.п.
1. Так как эти низкчастотники проявляются в логах из недели в неделю из месяца в месяц, то вполне логично поддердживать их на высоте, постоянно подпитывая.
Вопрос о регистрациях в каталогах и т.п. очень сильно усложняется в зависимости от количества низкочастотных запросов. Например, ноутбуков на сайте может быть порядка тысячи, причем всреднем спрашиваемость у них примерно одинакова. Естественно не надо спамить в каталоги всю тысячу, так как это откровенное хамство. Другое дело, если раскидать по чуть-чуть на каждый, а не весь набор на один. Также можно примерно выделить определенную группу наиболее часто спрашиваемых низкочастотников и их прогнать по каталогам. С остальными же придется обойтись. Не скидывать же в каталоги всю "карту сайта".
Чаще всего низкочастотники вылазят благодаря своему тексту, а также неплохой ссылке с верхнего уровня своего раздела по иерархии сайта (плюс внутренняя перелинковка).
С уважением,
Сергей Пасечник.
Самые распространенные низкочастотники в интернет магазинах - названия конкретных моделей и комбинации слов с их использованием.
Например, "thinkpad 20" и поехали (заменяем "thinkpad 20" на ...):
и куча других.
Самое простое - представить, что может хотеть посетитель от этого ноутбука. Но в любом случае, это покроет только 1/n часть от возможного числа запросов, так как все, пардон, "бзики" посетителей предугадать невозможно. Получить более-ли-менее полный список низкочастотников Вам поможет только систематическая обработка логов и сбор новых словосочетаний.
Принятие второго за главный - это необязательный побочный эффект, или лучше сказать - один из нежелательных исходов. Главных причин несколько:
1. чистота базы и отсутствие дублей страниц одного сайта в ней;
2. забота об зрительной памяти пользователя, так как в серпе могут появиться обе, а это нежелательно;
3. обеспечить какую-то независимоть от движка сайта (поясню: если у вас стоит /index.html, а при смене движка поставили index.php - пользователь, внесший морду в виде /index.html в фавориты, получит 404, что весьма нежелательно);
4. др. причины
Приведет к тому, что главной страницей будет считаться /, и все ссылочные критерии внутри сайта (после внесения соответствующих изменений в код системы управления сайтом) будут безраздельно принадлежать /, а /index.php будет удалена из базы поисковой системы сразу же, как только ее робот получит 301. Короче говоря, давно принято считать, что морда сайта - это / без всяких расширений, за исключением особых ситуаций.
(Образно, без точностей в деталях и реализации)
1. Взять роботс, проверить его на корректность, найти блок дирректив для себя (персональный для себя, либо общий)
2. Взять файл из своего списка на индексацию, проверить, не запрещен ли он в роботсе. Если запрещен - удалить и не индекировать. Если не запрещен - посмотреть отклик. Если 200, то взять страницу и посмотреть, не запрещено ли там что-то в метах и ноиндексе. Если все Ок - взять, выбрать ссылки, занести в список на индексацию и т.п. Если 304 - пропустить. Если другой отклик (404, 301, 302, 500 и др) - решать в зависимости от имеющихся инструкций. И другие действия...
3. Проверить, не пуст ли список следующих на индексацию файлов. Если не пуст - к пункту 2, если пуст - к пункту 4.
4. Уйти с сайта.
Давайте определимся с терминами: для Вас морда - это www.site.ru или www.site.ru/index.php?
Для меня в данной ситуации - первое, а второе - зеркало морды. Это две разные (с точки зрения поисковика) страницы. Одну надо убрать. Запрет в роботсе или 301 на морду - способы это сделать.
Есть мнение, что если при анализе файла robots.txt робот нашел ошибку, он может его проигнорировать. Насколько это правильно и для какого робота - не знаю точно, но лучше избежать возможной проблемы. В официальном стандарте указано, что для каждого робота можно указать отдельную группу дирректив. Таким образом, в данном файле робот Яндекса прочитает специально созданную для него группу и выполнит ее требования. Остальные роботы, если не найдут разработанные специально для них блоки (по названию робота), возьмут диррективы из группы по умолчанию, то есть из "*". Таким образом Вы избавитесь от возможной проблемы неправильной трактовки роботса роботами поисковых систем, которые не знакомы с диррективой хост.
Без разницы.
Результат один и тот же.
Лучше так:
User-agent: *
Disallow: /index.php
User-agent: Yandex
Host: ввв.сайт.ру
Ох доиграются любители таких скриптов рано или поздно...
Как сказал Большой Брат еще в 2001 году:
Сейчас, по-моему, с этим дела обстоят построже.
Не вижу ничего смешного и маразматичного.
Проблема не в Яндексе, а у Вас. Из-за криворукости Вашего программиста в базу попал индексный файл и, как следствие, пошатнул позиции. Как говорят: "Не пеняй на зеркало..."
А то, что Яндекс еще не склеил страницы - так это может еще достаточно много времени пройти. Способы избавления от индексного файла в базе - стандартны: запрет в роботсе или 301 редирект на морду.
Суперы утром появятся и перенесут.
За вот такие попапы убивать надо. Долго и жестоко.
:DevilAngry:
