- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В роботсе стоит
Disallow: */feed
Disallow: */rss
В вебмастере гугла увидел, что эти страницы все же попадают в индекс, мол правила роботса мне в принципе по-барабану.
Но вот стоит ли их вообще запрещать индексировать? Или ставить <meta name="robots" content="noindex">?
В роботсе стоит
Disallow: */feed
Disallow: */rss
В вебмастере гугла увидел, что эти страницы все же попадают в индекс, мол правила роботса мне в принципе по-барабану.
Но вот стоит ли их вообще запрещать индексировать? Или ставить <meta name="robots" content="noindex">?
RSS - для того, чтобы использовать, а не запрещать
без разницы, ее все равно показывать в поиске не будет.
Однако такая запись
Disallow: */feed
Disallow: */rss
может запретить некоторым роботам шариться по ленте. Например вы к новостному агрегатору подключитесь, он зайдет и вдруг будет учитывать роботс. Хз всякое может быть.
А если лента никем не используется то ее лучше отключить.
В Robots.txt нужно закрывать от индексации те разделы и те файлы, которые не нужны пользователям и не несут никакой ценности для поисковиков. Думаю не стоит закрывать rss. Правда поисковые роботы индексируют ленту быстрее, чем саму веб-страницу, из-за чего первоисточник может попасть под фильтры поисковых систем.
файлы, которые не нужны пользователям и не несут никакой ценности для поисковиков
И именно фиды в "не нужны пользователям" как раз и попадают: их уже не читают (массово), т.к. банально "нечем читать"
Закрывать, а лучше уже и вообще "не генерить"
Наверное, все таки лучше закрыть.
Зачем тогда создавать RSS-ленту, если закрывать ее от индексации? В чем смысл?
Зачем тогда создавать RSS-ленту, если закрывать ее от индексации? В чем смысл?
Смысл в том, что ни один из отписавшихся, не понимает смысла RSS
Смысл в том, что ни один из отписавшихся, не понимает смысла RSS
"Чрезмерная генерализация вредна". Я знаю, к примеру, как и то, что это - отмирающая технология для массмаркета