Многие вебмастера, работая над оптимизацией интернет-магазинов для индексирующих роботов, задаются одними и теми же вопросами, на которые решил ответить в своем блоге небезызвестный Платон Щукин:
1. Использовать ли ЧПУ-адреса на сайте?
Индексирующий робот посетит и включит в результаты поиска и страницу по адресу сайт.рф/?категория=1&подкатегория=6 , и по адресу сайт.рф/ромашки/крупные вне зависимости от формата их URL-адресов, но стоит задуматься, какой тип адресов лучше подойдёт для удобного ориентирования покупателей, по какой ссылке пользователи форумов или социальных сетей будут чаще переходить и делиться ею со своими знакомыми. Понятная и читаемая структура URL-адресов не только позволит посетителям быстрее ориентироваться на сайте, но и поможет роботу сформировать корректные навигационные цепочки, что сделает сайт более заметным в результатах поиска.
2. Что делать со страницами пагинации и сортировки товаров?
Если в какой-либо категории на сайте интернет-магазина находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то нужно настраивать атрибут rel="canonical" тега link на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.
Например, страница сайт.рф/ромашки/1 - каноническая, с неё начинается каталог, а страницы вида сайт.рф/ромашки/2 и сайт.рф/ромашки/3 - неканонические, в поиск их можно не включать. Это не только предотвратит возможное дублирование контента, но и позволит указать роботу, какая именно страница должна находиться в выдаче по запросам. При этом ссылки на товары, которые находятся на неканонических страницах, также будут известны индексирующему роботу.
Часто вместо пагинации сайты используют динамическую прокрутку, когда для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации необходимо проследить, чтобы весь контент таких страниц отдавался индексирующему роботу (например, с помощью инструмента в Яндекс.Вебмастере), либо чтобы роботу становилась доступна статическая пагинация товаров.
Вторая часть вопроса связана со страницами сортировки, например, по цене, популярности или характеристикам. Чтобы разобраться с этой частью, необходимо понять, нужны ли такие страницы в результатах поиска, отвечают ли они в полной мере на запросы пользователей. Если страницы не отвечают на запросы пользователей поисковой системы, их лучше закрыть с помощью соответствующих правил в robots.txt, оставив для посещения роботом только действительно необходимые страницы.
3. Один товар в нескольких категориях, как исключить дублирование?
С такой ситуацией сталкиваются вебмастера, если один и тот же товар логично разместить в нескольких категориях. Например, ромашки могут находиться в категории «Полевые цветы» или «Необычные цветы». Для подобных ситуаций лучше использовать атрибут rel="canonical" тега link: указав с помощью него канонический адрес, например тот, что находится в наиболее популярной категории, именно он будет индексироваться и участвовать в результатах поиска. Это позволит предотвратить дублирование контента в выдаче и всегда знать, какая страница должна находиться по запросам. Посетители же всегда смогут найти обе страницы при заходе на сайт, а перелинковка между собой этих страниц может быть полезна в этом случае.
4. Товар с выбором цвета\размеров, как предотвратить дублирование?
Когда один и тот же товар представлен в вашем магазине в различном исполнении, самое правильное решение для подобных случаев - сделать выбор характеристик товара без изменения URL-адреса с динамическим обновлением контента на странице (например, при смене выбранного цвета изменяется изображение). Но часто по каким-либо причинам (например, из-за технических ограничений используемой CMS) это невозможно сделать. Тогда для робота остаются несколько практически идентичных страниц с товаром, которые или могут находиться в поиске независимо друг от друга, или которые робот посчитает дублирующими, оставив в выдаче только один адрес на своё усмотрение. Нужно решить, нужны ли все страницы с вариантами исполнения товара в поиске, или будет достаточно только одной версии страницы. Для первого случая на такие страницы можно добавить больше различающегося контента (отзывы покупателей, комментарии или обсуждения, рекомендуемые к просмотру товары),а во втором случае - использовать вышеуказанный атрибут rel="canonical", выбрав в качестве канонического адреса наиболее популярную модификацию товара.
5. Товар закончился на складе, что делать?
Если товар стал кратковременно недоступен в интернет-магазине, но в скором времени ожидается его поступление, рекомендуется оставить страницу с ним доступной для робота (возвращать индексирующему роботу HTTP-код ответа 200), это предотвратит её исключение из результатов поиска. Чтобы поддерживать интерес пользователя на такой странице можно отображать информацию о скором поступлении товара на склад, возможность предзаказа, а также рекомендуемые и похожие товары, которые есть в наличии, что часто позволяет сохранить посетителя сайта и заинтересовать его другой продукцией. При длительном отсутствии товара на складе лучше настроить HTTP-код ответа 404, чтобы удалить недоступные для заказа товары. Саму страницу «заглушки» не оставлять стандартной, а разнообразить дополнительной интересной и полезной информацией.
6. Что нужно добавить в robots.txt?
Обязательно к закрытию в файле robots.txt:
- страницы действий (добавление в корзину, сравнение товаров, перенос в список "Избранное"),
- корзины с товарами,
- встроенный поиск на сайте,
- служебные каталоги с конфиденциальными документами (адреса доставки, контактные телефоны),
- идентификаторы сессии, utm-метки с помощью директивы "Clean-param"
Дополнительно, как и для всех сайтов, указать в robots.txt необходимо:
- директиву Host с адресом главного зеркала сайта,
- директиву Sitemap с адресом актуального файла sitemap .
