- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сайт http://gdepapa.ru
по отчету Яндекс-Вебмастер загружено роботом примерно 171000 страниц, а в поиске, на данный момент, только 14500. Причем это число постоянно меняется, от 9 тыс. до примерно 30 тыс. Чесно говоря, не понимаю, где вообще яндекс взял 171 тыс., но подозреваю, что он загружает страницы из раздела "поиск анкет" с различными вариантами поисковых параметров. Типа таких
http://gdepapa.ru/poisk/?category=1&min_age=&max_age=&int_country_id=1&children=-1&int_region_id=-40&str_order_by=reg_date
Причем результаты этих поисков разделены на множество страниц, еще добавляется параметр &page=
Поскольку постоянно регистрируются новые пользователи, то и эти страницы постоянно меняются, и просто боюсь, что яндекс может принять это за какой-нибудь поисковый спам. Я бы запретил в robots.txt раздел /poisk/ но анкеты пользователей тоже к нему привязаны, например
http://gdepapa.ru/poisk/anketa10843.html
Также, ссылка на анкету может быть без .html в конце, например та же самая анкета имеет адрес
http://gdepapa.ru/poisk/anketa10843/ Надо как-то яндексу сообщить, что это одна и та же страница?
В общем спрашиваю совета, как это все привести в порядок, чтобы посковики видели только страницы со стабильным контентом. Я сделал файлы sitemaps, в котором нет страниц с поисковыми параметрами, но яндекс все равно их загружает.
Я бы запретил в robots.txt раздел /poisk/ но анкеты пользователей тоже к нему привязаны
Запретить можно по другой маске, тот же "page" легко запрещается в роботсе, или "category", или вообще Disallow: /*?. Зависит от других адресов на сайте.
Также, ссылка на анкету может быть без .html в конце, например та же самая анкета имеет адрес
http://gdepapa.ru/poisk/anketa10843/
Если страницы идентичны, то rel="canonical" поможет.