Форум Поисковые системы Google

Как быстро загнать на сайт робота, чтобы убрать его из индекса

Papa_Misha
На сайте с 25.03.2010
Offline
89
Papa_Misha
705

Как быстро загнать на сайт робота, чтобы убрать его из индекса?

Гугл Вебмастер в google search Console не устраивает, нужны другие способы.

FE
На сайте с 09.04.2017
Offline
34
frEEl96
#1
Papa_Misha:
Как быстро загнать на сайт робота, чтобы убрать его из индекса?
Гугл Вебмастер в google search Console не устраивает, нужны другие способы.

Обычно, даже когда сайт уже год отдаёт 404 ошибку, какая то часть находится в индексе.

Если страницы проиндексированы, не закрывайте сайт в роботсе! Разместите meta robots noindex \ follow. Чтобы он смог ходить по сайту и видел запрещающий тег.

Сильно ускорить робота, чтобы он чаще ходил \ больше сканировал, не получится!

Продвижение в бурже с толком, расстановкой и гарантией - lej.me (https://lej.me)
Drums
На сайте с 13.02.2011
Offline
81
Drums
#2

Я настраиваю на 410-ый ответ и спамлю морду (со своих ресов), процесс выпиливания идет бодрее. Потом ссылки снимаю, в зависимости от динамики самого выпиливания. А 404-ый, на личном опыте, так и висит в индексе еще со времен Столыпина и его сподвижников 🤣

Шустрые и стабильные VDS на SSD дисках (http://articleland.ru/get/host.php) за 3.49/мес
FM
На сайте с 02.09.2015
Offline
45
freezy_mind
#3

А зачем все через задний проход делать, когда есть тулза

https://www.google.com/webmasters/tools/url-removal

Гугл Вебмастер в google search Console не устраивает, нужны другие способы.

Других способов нет. Ну или же публикация контента с частотой как СМИ, роботы жить будут на сайте.

FE
На сайте с 09.04.2017
Offline
34
frEEl96
#4
freezy_mind:
А зачем все через задний проход делать, когда есть тулза
https://www.google.com/webmasters/tools/url-removal


Других способов нет. Ну или же публикация контента с частотой как СМИ, роботы жить будут на сайте.

Чтобы "роботы жили на сайте" просто публиковать ежедневно 10 статей будет не достаточно. По моим кейсам это происходит со временем. Индексация статей в течении 20 минут (на некоторых моих сайтах) происходит при нескольких важных факторах:

1) Определенный уровень авторитета у домена и сайта. +- от 30 DR на Ahrefs

2) Присутствие сайта в гугл новостях.

3) Определенный уровень поискового трафика.

На, относительно, свежем сайте, сколько статей не публикуй, всё ровно роботов ждать приходится долго.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий