- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Блог на wordpress
Гугл индексирует страницы с фидами, хотя они закрыты в robots.txt
В "соплях" гугла индесация типа:
******.ru/komputer/zhelezo/feed
A description for this result is not available because of this site's robots.txt – learn more.
Понятно, что несмотря на закрытие в роботсе, гугл будет индексировать, т.к. очевидно, где-то имеется ссылка на этот (вордпресс где-то генерирует ссылку,которую, как предполагается нужно закрыть noindex) фид -гугл заходит по этой ссылке и страницу загогяет в индекс.
Кто знает, как это дело прекратить?
Откройте страницы фидов в robots.txt и в их <head> вставьте <meta name="robots" content="noindex">. Также можно воспользоваться тулзой https://www.google.com/webmasters/tools/removals
Откройте страницы фидов в robots.txt и в их <head> вставьте <meta name="robots" content="noindex">. Также можно воспользоваться тулзой https://www.google.com/webmasters/tools/removals
Понятно. Только:
При опубликовании новой статьи будет появлятся новая страница фида и вручную каждый раз вставлять <meta name="robots" content="noindex"> практически нереально, более того ещё вручную и выкидвать из индекса в вебмастере.
Удалите фиды в коде.
Удалите фиды в коде.
сами фиды нужны, а их индексация- нет
...
Гугл индексирует страницы с фидами, хотя они закрыты в robots.txt
...
Кто знает, как это дело прекратить?
Никакие "ссылки" закрывать не нужно и уж тем более не стоит пихать в код XML-документа мета тег robots да еще и "вручную".
1. Фиды должны быть открыты (не запрещены в robots.txt) для сканирования
2. При обращении к ним сервер должен выдавать в ответе заголовок X-Robots-Tag (X-Robots-Tag: noindex)
Не особо понятно чем они вам там (в индексе, в соплях) помешали. Ну закрыли вы их в robots.txt и все. Новые в индекс не полезут, а старые пусть болтаются сколько гуглу угодно.
Никакие "ссылки" закрывать не нужно и уж тем более не стоит пихать в код XML-документа мета тег robots да еще и "вручную".
1. Фиды должны быть открыты (не запрещены в robots.txt) для сканирования
2. При обращении к ним сервер должен выдавать в ответе заголовок X-Robots-Tag (X-Robots-Tag: noindex)
Не особо понятно чем они вам там (в индексе, в соплях) помешали. Ну закрыли вы их в robots.txt и все. Новые в индекс не полезут, а старые пусть болтаются сколько гуглу угодно.
так как сделать "2. При обращении к ним сервер должен выдавать в ответе заголовок X-Robots-Tag (X-Robots-Tag: noindex)"?
"Не особо понятно чем они вам там (в индексе, в соплях) помешали" Какую пользу для посетителя приносит ПРОИНДЕСОВАННАЯ страница с фидом?
"Ну закрыли вы их в robots.txt и все. Новые в индекс не полезут" А с чего это они вдруг не полезут, при публикации новых постов? на данный момент фиды закрыты в роботсе и успешно лезут в сопли. А всопли, очевидно потому, что за "нормальные страницы" гугл их не воспринимает, а только как за технические, которые пользователю абсолютно не нужны. Вы часто набираете в поисковике "фид про то-то"?
A description for this result is not available because of this site's robots.txt – learn more.
Эта надпись означает только то, что урл есть в индексе, а страницы нет. Она действительно закрыта в роботс.
так как сделать ...
Например, добавить в код скрипта что-то типа header("X-Robots-Tag: noindex");
В какой именно файл и место это вставлять спрашивайте у тех (я в их число не вхожу), кто знаком с "внутренностями" вордпресса.
... А с чего это они вдруг не полезут, при публикации новых постов? на данный момент фиды закрыты в роботсе ...
Не знаю каким образом вы их там закрыли но строчка, запрещающая сканирование ваших фидов (исходя из этого - ******.ru/komputer/zhelezo/feed) должна выглядеть вот так:
Disallow: /*/feed$