robots и гугл

12
Василич#
На сайте с 10.03.2009
Offline
111
1560

Здравствуйте! Назрел такой вот вопрос:

На сайте более 15тыс. страниц, 14тыс. из которых мусор. Эти 14тыс. я запретил в роботс буквально месяц назад. Как вижу Гугл хавает роботс, но не выкидает страницы из индекса, в то же время упорно продолжает кушать эти "страницы с мусором", прибавляя еще и еще страниц в индекс.

Яша быстро среагировал и выкинул все ненужное из индекса.

Как заставить Гугл выкинуть эти страницы из индекса ?

Заранее спасибо за ответ

bmw-power.com.ua (https://bmw-power.com.ua)
borej
На сайте с 11.08.2008
Offline
202
#1

удалить мусор в панели вебмастера через форму. Можно в хтаксессе железно закрыть чтоб на точняк, а потом через вмт удалить лишнее. Ибо выходит, что бот знает об этих страницах и лазает на них, если его отучить - перестанет.

все это чушь собачая
New Member
На сайте с 21.12.2008
Offline
211
#2
Василич#:
Здравствуйте! Назрел такой вот вопрос:

На сайте более 15тыс. страниц, 14тыс. из которых мусор. Эти 14тыс. я запретил в роботс буквально месяц назад. Как вижу Гугл хавает роботс, но не выкидает страницы из индекса, в то же время упорно продолжает кушать эти "страницы с мусором", прибавляя еще и еще страниц в индекс.
Яша быстро среагировал и выкинул все ненужное из индекса.

Как заставить Гугл выкинуть эти страницы из индекса ?

Заранее спасибо за ответ

Лучший вариант это в код этих страниц генерировать:

<meta name="robots" content="noindex,nofollow" />
Раскрутка сайтов (https://seomasters.com.ua/)
Василич#
На сайте с 10.03.2009
Offline
111
#3

borej, New Member, благодарен за советы.

borej:
удалить мусор в панели вебмастера через форму.

хм... формы не нашёл :( не подскажете где именно находится данная форма?

S2
На сайте с 06.05.2012
Offline
14
#4

Кроме роботс, неплохо бы возвращать 404 на эти страницы. Один роботс - сработает через пару месяцев. Только через удаление в инструментах вебмастера - может не сработать пока нет каких-либо прямых запретов.

rudger
На сайте с 12.10.2002
Offline
184
#5

Я удалял кучу страниц через WMT, которые возвращают 404. Потом в "ошибках" отмечал их все как resolved. Через несколько дней они благополучно вернулись. В роботс их не запрещал пока, но видимо придется это тоже сделать.

New Member
На сайте с 21.12.2008
Offline
211
#6
Василич#:
borej, New Member, благодарен за советы.

хм... формы не нашёл :( не подскажете где именно находится данная форма?

Оптимизация > Удалить URL-адреса > Создать новый запрос на удаление

Будьте аккуратны!

RA
На сайте с 18.09.2012
Offline
1
#7

А почему бы не удалить их и не сделать с них 301 на морду сайта?!

I
На сайте с 19.12.2011
Offline
90
#8

Гуглу на роботс плевать, я на новом сайте сделал правильный роботс, все дубли вошли в индекс, все удалял ручками в WMT, у меня на 60 страниц ИМ было по 5 дублей, в вашем случае конечно ручками долгий процесс, но видимо другого выхода нет. 90 дней точно в индексе не появятся. Сейчас мониторю каждую неделю, как вылазит дубль сразу удаляю.

Продажа оригинальной продукции Apple в Москве Apple-Seller.ru (http://apple-seller.ru/). Отличный VPS/VDS хостинг для сайтов в Inferno Solutions (http://cp.inferno.name/aff.php?aff=1489).
E
На сайте с 21.09.2009
Offline
283
#9

Василич#, запрет в роботсе запрещает сканировать страницу, а не выкинуть из индекса. Выкинуть страницу из индекса можно только использовав тег на странице noindex

Members
На сайте с 13.09.2012
Offline
85
#10

В robots укажите что не нужно индексировать и все. Гуглом будет индексироватся если на страницу ссылаются, но страницы будут без снипета и сохраненной копии, более подробно почитать можно тут http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Украинский хостинг ukraine.com.ua (http://www.ukraine.com.ua/?page=19684) - самое выгодное и качественное решение на сегодня.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий