- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Прописал в robots.txt служебные страницы, что бы поисковики не индексировали лишнего.
Однако, google упорно индексирует их.
Причем количество проиндексированных страниц скачет от 300 до 800.
Полезных страниц на сайте порядка 250, остальное служебные (они запрещены для индексирования).
Однако, ощущение такое что гуглу до лампочки robots.txt
Почему такое происходит?
контент в кеш не попадет)
У меня такая проблема, но сейчас вроде Гугл выплевывает страницы, что прописаны в роботсе. С дублями мучился
Почему такое происходит?
Враг (или сам владелец сайта) поставил сцылку на ту страницу. А сервак ответил 200
to TC,
может Вы неправильно настроили robots.txt?
P.S. Если закрыть страницы, которые раньше были в индексе в robots.txt, то они по прежнему будут в индексе, но со сниппетом:
A description for this result is not available because of this site's robots.txt – learn more.
Я же рекомендую закрывать страницы с помощью метатега robots.
таже история с пагинацией была пришлось изменить ссылки и посадить всё лишнее на скрипт
Гугл может индексировать страницы, закрытые в robots.txt, вот выдержка
"Следует отметить, что даже если вы запретите поисковым роботам сканировать содержание вашего сайта с помощью файла robots.txt, возможно, что Google обнаружит его другими способами и добавит в индекс."
Далее по тексту
"Используйте метатег noindex, чтобы содержание не появлялось в результатах поиска Google. При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании."
Источник - Справка Google
Также
Чтобы полностью исключить вероятность появления содержания страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.
Источник - Справка Google
В общем, используйте метатег robots для запрета индексации в Гугл.
Я вам даже больше скажу, лично видел пример, когда гугл забрал в выдачу страницу закрытую не только в robots.txt, но и при помощи <meta name="robots" content="noindex,nofollow"/>
Раньше эта страница была открыта полностью, на нее ведет довольно большое число бэков, сама страница уже месяца как 3 закрыта полностью, но Google активно держит ее в индексе.
Я вам даже больше скажу, лично видел пример, когда гугл забрал в выдачу страницу закрытую не только в robots.txt, но и при помощи <meta name="robots" content="noindex,nofollow"/>
Раньше эта страница была открыта полностью, на нее ведет довольно большое число бэков, сама страница уже месяца как 3 закрыта полностью, но Google активно держит ее в индексе.
Что мешает удалить её через Google Webmaster?
P.S. Для того, чтобы поисковый робот прочитал на странице метатег robots, нужно чтобы она была открыта в robots.txt.
Отчего может скакать количество индексируемых страниц ?
Вчера было 1000 сегодня уже 400 (-600), завтра снова станет 1000+
От того что сайт молодой или правила robots вступают в силу.