- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Стало беспокоить меня большое кол-во страниц в вебмастере гугла в разделе "Покрытие" в подразделе:
иду читать что не так, по ссылке https://support.google.com/webmasters/answer/7440203#indexed_though_blocked_by_robots_txt а там
Ну не вопрос, делаю для всех страниц что попали в этот подраздел чтобы в коде страницы сразу вверху выводилось
<head>
<meta name="robots" content="noindex">
</head>
отправляю все страницы на переиндексацию. Проходит неделя, кол-во страниц не падает.
Я в ступоре, захожу в https://www.google.com/webmasters/tools/robots-testing-tool
тестирую одну из страниц - мне пишет что индексации мешает правило robots.txt
Удаляю все правила роботса, проверяю еще раз и получаю - индексация разрешена!!!
Какого черта, ведь в коде <meta name="robots" content="noindex"> ?????
Именно. Индексация документа разрешена, иначе робот НЕ МОЖЕТ УЗНАТЬ, что есть мета тег не добавлять в индекс страницу.
А в robots.txt указывается сразу же, мол не надо лезть на страницу вообще.
Я так понял они пишут типа если не хотите чтобы страница индексировалась - неправильно делать правила в роботсе, нужно добавить
<meta name="robots" content="noindex">
</head>
Так вот у меня сейчас и правила в роботсе + <meta name="robots" content="noindex"> а странице все равно в индексе!!! И таких страниц более 7000!!!
WTF ???
Если контент уже проиндексирован, несмотря на блокировку в robots.txt, то действительно нужно вставить запрещающий индексацию метатег, но убрать блокировку в robots.txt для скорейшей переиндексации. ИМХО, Google тут сам насоздавал себе сложностей для работы поисковика.
Может правильнее сделать локейшн в Nginx и отдавать роботу Гугла 410 ответ?
Я так понял они пишут типа если не хотите чтобы страница индексировалась - неправильно делать правила в роботсе, нужно добавить
Так вот у меня сейчас и правила в роботсе + <meta name="robots" content="noindex"> а странице все равно в индексе!!! И таких страниц более 7000!!!
WTF ???
Бывает и месяц проходит, пока страницы улетят из индекса_)
Так прикол в том что прошла неделя, он хавает страницы с уже добавленным мета и добавляет их в индекс.
Я вот захожу в отчет и вижу как он перелопатил кучу страниц 12 апреля, когда мета была на страницах дней 6 как.... реально баг или глюк или фича....
Подожду еще недельку, а потом запрещу ему доступ, раз не придерживается своих же правил.
Бывает и месяц проходит, пока страницы улетят из индекса_)
На некоторых сайтах годами в индексе висят страницы, которых по факту давно уже нет. Хз почему так.