- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Коллеги, помогите разобраться с правилами в robots.txt
Вопрос в следующем. На сайте есть статьи (site.ru/article1), у статьи есть комменты и возможность на комменты отвечать (ссылка для ответа на коммент). Соответственно при переходе по ссылке получается вот такой урл: site.ru/comment/article1/reply (в коде имеется ссылка на каноническую страницу site.ru/article1)
Коллеги, нужно ли в robots.txt прописывать запрещающее правило для comment/* или директивы canonical = "site.ru/article1" достаточно?
Благодарю за ответы.
Достаточно.
Достаточно.
а на краулерный бюджет это не повлияет?
Вот тут честно затрудняюсь ответить, но встрясочка должна быть... у меня так было когда каноничность подключал
---------- Добавлено 21.10.2018 в 19:03 ----------
Как по мне, лучше в теге прописать для них фолоу,ноиндекс вместо каноничности
Как по мне, лучше в теге прописать для них фолоу,ноиндекс вместо каноничности
А какой смысл гонять бота по ноиндекс страницам? Кому от этого польза?
Смысл/польза в обосновании костыля rel=canonical
а на краулерный бюджет это не повлияет?
Скорее на его бессмысленное расходование.
Смысл/польза в обосновании костыля rel=canonical
Скорее на его бессмысленное расходование.
значит нужно банить в robots.txt?
значит нужно банить в robots.txt?
Самый простой вариант решения вопроса, но в таком случае со страниц site.ru/comment/article1/reply убрать каноникал на /article1/, а то плучиться что говорим ПС не индексируй но раз уж пришол каноническая страница здесь и в таком случае деректива роботс может быть проигнорирована.
А для экономии краулингового бюджета, к ссылкам такого плана можно добавлять символ "#" что бы получилось site.ru/comment/article1/#reply тогда робот ПС-а не пойдет на неё вобще и можно не использовать ни роботс ни каноникал.
Самый простой вариант решения вопроса, но в таком случае со страниц site.ru/comment/article1/reply убрать каноникал на /article1/, а то плучиться что говорим ПС не индексируй но раз уж пришол каноническая страница здесь и в таком случае деректива роботс может быть проигнорирована.
Если бота забанить в robots.txt, то как он проберётся на страницу site.ru/comment/article1/reply ? Возможно я вас неверно понял.
А для экономии краулингового бюджета, к ссылкам такого плана можно добавлять символ "#" что бы получилось site.ru/comment/article1/#reply тогда робот ПС-а не пойдет на неё вобще и можно не использовать ни роботс ни каноникал.
У меня CMS, там чтобы это изменить нужно лезти в ядро, а этого делать не желательно. Тогда намного проще AJAXом подгружать формы комментов.
Если бота забанить в robots.txt, то как он проберётся на страницу site.ru/comment/article1/reply ? Возможно я вас неверно понял.
Правильно, ведь роботс это не закон а рекомендация, тем более краулер гуляет по ссылкам в том числе и нофоллов, если есть ссылка на site.ru/comment/article1/reply он прийдет туда вспомнит что в роботсе ему говорили не индексируй и на этом его путешествие на этой странице закончиться, но если он увидет там каноникал то начнет сомневаться, мол если её не нужно индексировать то почему здесь важная для меня информация в виде каноникал.
---------- Добавлено 22.10.2018 в 10:07 ----------
У меня CMS, там чтобы это изменить нужно лезти в ядро, а этого делать не желательно. Тогда намного проще AJAXом подгружать формы комментов.
С AJAXом бы не спешил, там у гугла какие то заморчки начались, сильно не вникал так как не использую.
Правильно, ведь роботс это не закон а рекомендация, тем более краулер гуляет по ссылкам в том числе и нофоллов, если есть ссылка на site.ru/comment/article1/reply он прийдет туда вспомнит что в роботсе ему говорили не индексируй и на этом его путешествие на этой странице закончиться, но если он увидет там каноникал то начнет сомневаться, мол если её не нужно индексировать то почему здесь важная для меня информация в виде каноникал.
В данный момент у меня помимо каноникла там ещё и <meta name="robots" content="noindex, follow" /> Думаю боту должно быть понятно, или я опять чего-то не понимаю?