- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем здравствуйте!
Хотел бы описать проблему, видение своего решения, и, принять чьи-либо советы, т.к. эта проблема для многих может быть актуальна
Проблема такова, что, на сайте есть каталог товаров, на каждой странице по 12 карточек, на второй странице, соответственно 24 и тд
Они фиксируются как урлы, пример:
/catalog/aksessuary-instrumenty/instrumenty?items_per_page=24
/catalog/aksessuary-instrumenty/instrumenty?items_per_page=36
Подобных ссылок большое количество (300+), яндекс вебмастер их постоянно обходит, добавляет, потом удаляет, и так происходит циклически бесконечно (Просто в разный промежуток времени)
Мой путь решения: перекрыть все подобные ссылки в robots.txt , что они никаким образом в вебмастере не фигурировали вообще
В чем сомнения: при использовании в яндексе "site:" ссылки, указанной как пример выше, откликались ссылки каталога, но не сама полная ссылка
В чем вопрос (хотелось бы узнать):
1) Критическая ли будет ситуация для поискового трафика, при перекрытии подобных ссылок?
2) Возможные адекватные пути решения, дополнительные, альтернативные?
Закрывать в robots не вариант, лучше разрешить сканировать сайт, но не добавлять в индекс лишние страницы.
Есть два варианта решения вашей задачи:
1) Поставить canonical на страницы сортировок
2) или поставить тег <meta name="robots" content="noindex, follow" />
(в любом из случаев нужно будет убрать директиву из robots.txt).
Clean-param в роботс, и все.
Clean-param в роботс, и все.
А техническое различие есть между перекрытием ссылки типа
Disallow: /catalog/aksessuary-instrumenty/instrumenty?items_per_page=24
И так 300-500 ссылок?
И существуют ли какие-либо нагрузки на robots.txt со стороны яндекса и вебмастера?
Ведь, по сути, что так поисковой робот доберется до прямой ссылки и удалит, что так найдет этот параметр и удалит
Mihail_1995, слова вроде в посте все понятные, но смысла я в них не уловил. Ну кроме зачота про "нагрузку на robots.txt". Гет-запрос на роботс ну максимум несколько раз в сутки (а обычно 1 или 0) - это вам не хухры мухры, вдруг сервер упадет, или яндекс.
Mihail_1995, слова вроде в посте все понятные, но смысла я в них не уловил. Ну кроме зачота про "нагрузку на robots.txt". Гет-запрос на роботс ну максимум несколько раз в сутки (а обычно 1 или 0) - это вам не хухры мухры, вдруг сервер упадет, или яндекс.
Вы предложили способ clean-param
Мой способ: перекрыть ссылку
Мне видится алгоритм такой: робот будет перебирать каждую ссылку, сравнивать с параметром - удалять (при параметре clean-param)
Алгоритм 2: при указании прямой ссылки робот блочит ссылку сразу же, что значительно экономит время и нагрузку (возможно экономит, это алгоритм при Disallow: /ссылка)
И запрос уж robots.txt явно не нагружающий критически сервера, чтобы они падали, не утрируйте настолько
Вы научитесь выражать мысли не раком.
робот блочит ссылку сразу же
Чего делает?
Мой способ: перекрыть ссылку
Чего сделать?
Вы научитесь выражать мысли не раком.
Вопрос тогда в вашем понимании, а не в моем выражении мыслей
Чего делает?
Чего сделать?
Под "блочить" подразумевалось "перекрыть от индексации"
Под "блочить" подразумевалось "перекрыть от индексации"
А что такое перекрыть от индексации? Вы точно не умеете выражать мысли. Спрятать ссылку, выдавать какой-то код, отличный от 200, или еще чего?
есть каталог товаров, на каждой странице по 12 карточек, на второй странице, соответственно 24 и тд
Если на каждой странице 12 карточек, то на второй странице соответственно тоже должно быть 12 карточек, а не 24 ))
Если на каждой странице 12 карточек, то на второй странице соответственно тоже должно быть 12 карточек, а не 24 ))
Опечатка, но, суть и так понятна же)