- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Статья для тех, кто не в теме и естественно для новичков
Недавно столкнулся с оптимизацией сайта на движке Danneo CMS, проблема была в том, что в индексе было очень много дублей страниц, которые представляли из себя "версию для печати".
Я попытался решить эту проблему при помощи файла robots.txt и регулярных выражений. О том, что регулярные выражения поддерживаются роботом Яндекса, я узнал из хелпа Яндекса:
При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов. Примеры:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
# и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
# но и '/cgi-bin/private'
Полный мануал
Далее имеем вид урла "версия для печати", который надо закрыть от индексации: index.php?dn=vacancies&re=print&id=170.
Проблема в том, что он не значительно отличается от урла материала на сайте. Тогда следует выделить отличительную часть, в моём случае отличается от материала на сайте часть: re=print.
Соответственно указываем роботу Яндекса в файле robots инструкцию по обработке урлов, которые будут содержать часть: re=print (версия для печати).
Выглядеть она будет след, образом:
Далее, чтобы проверить корректность составленного нами файла robots и убедиться, что все не нужные страницы закрыты от робота, а все полезные страницы доступны для индексации идем в панель Веб-мастера.
Настройка индексирования->Анализ robots.txt, нажимаем кнопку "загрузить файл robots.txt с сайта", далее добавляем урлы, которые должны индексироваться, после проверки должны получить ответ: "разрешен".
И проверяем страницы, которые не должны индексироваться (в нашем случае страницы с версией для печати), после проверки должны получить ответ: "запрещен правилом /*re=print*"
Таким образом можно убрать дубли страниц из индекса. Без затрат на программиста, без значительных временных затрат, если сидеть в движке самому и пытаться отключить модуль версии для печати.