Когда страницы будут удалены из индекса?

12
Ingvarr
На сайте с 26.04.2009
Offline
452
1643

Обнаружил дубли страниц у себя на сайте, типа

forum/43-4651-

forum/43-4651-1

Закрыл все страницы заканчивающиеся на - в robots.txt

Disallow: /*-$

В google.com/webmasters/tools/crawl-errors в разделе

Заблокирован файлом robots.txt

стали показываться эти страницы, значит гугл их переиндексировал, но прекрасно видя, что они закрыты в robots.txt и ругаясь на это, он продолжает их держать в индексе. В чем причина и когда всё-таки он выкинет дубли?

golf4man
На сайте с 16.08.2010
Offline
136
#1
Ingvarr:
Обнаружил дубли страниц у себя на сайте, типа
forum/43-4651-
forum/43-4651-1

Закрыл все страницы заканчивающиеся на - в robots.txt

Disallow: /*-$

В google.com/webmasters/tools/crawl-errors в разделе
Заблокирован файлом robots.txt
стали показываться эти страницы, значит гугл их переиндексировал, но прекрасно видя, что они закрыты в robots.txt и ругаясь на это, он продолжает их держать в индексе. В чем причина и когда всё-таки он выкинет дубли?

Для начала попробуйте их ручками удалить. В панели вебмастера находите "Конфигурация сайта" => "Доступ для сканера" => "Удалить URL". И далее подождать нового индекса, если повторится проблема, есть смысл написать в тех поддержку.

p.s. в последнее время на многих моих сайтах в выдачу гули попадают страницы, закрытые в robots...😕

Ingvarr
На сайте с 26.04.2009
Offline
452
#2

golf4man, а если таких страниц несколько тысяч, то их тоже в ручную удалять?

E
На сайте с 21.09.2009
Offline
283
#3
Ingvarr:
golf4man, а если таких страниц несколько тысяч, то их тоже в ручную удалять?

Сколько времени прошло с момента добавления записи в роботс? Читал что знак зведочка (маска) не всеми ботами воспринимается. В сайтмапе страницы удалены?

Для удаления страниц рекомендуют ставить выдачу 404 или 401 страницы тогда бот точно поймет что она удалена.

[Удален]
#4

у меня была похожая ситуация на 2-х сайтах

на одном наладилось через 2 апа, на другом месяц

sema_87
На сайте с 28.08.2009
Offline
249
#5

У меня лишнее в индекс попало, забыл просто вместе с движком залить роботс, обнаружил, проверяя индексацию. Закрыл лишнее в роботс и меньше чем через 12 часов их уже не было в индексе.

Uh-Oh We're In Trouble, Something's Come Along And It's Burst Our Bubble!
[Удален]
#6
DimidrolCY:
у меня была похожая ситуация на 2-х сайтах
на одном наладилось через 2 апа, на другом месяц

Прошу прощения! Не 2 апа, а 2 недели

O
На сайте с 03.08.2009
Offline
56
#7

У меня ситуация чуть сложнее. Последовательность была такая (домен вымышленный):

1. У меня был интернет-магазин domen.kiev.ua, я зарегистрировал domen.ua

2. Три месяца новый .ua редиректил на .kiev.ua

3. По совету специалистов закрыл в robots.txt лишние страницы, типа domen.kiev.ua/checkout/

4. Через пару недель поставил в .htaccess 301-й редирект со старого .kiev.ua на новый .ua

5. Через 2 месяца Яндекс побаловался неделю и вернул сайт уже с новым доменом на прежние позиции. А вот Google, уже через неделю после редиректа, новый сайт из ТОП-3 опустил на вторую страницу.

6. Прошло 4 месяца, в индексе Google оба домена. На обычные запросы выдает новый .ua, на запросы типа site:domen.kiev.ua показывает более 7000 страниц (все они закрыты robots.txt) и количество их с момента редиректа растет (вначале было 1200).

7. В Webmaster Tools .kiev.ua не считают за TLD и явно перенаправить не дают. Отображается список "внешних" ссылок с domed.ua на domen.kiev.ua вот такого вида:

[To] http://domen.kiev.ua/checkout/

[From] http://domen.ua/

Via this intermediate link: http://domen.ua/checkout/

И так 2400 штук линков (не 7000, что странно)

Буду очень признателен, если кто подскажет, как лучше и безболезненней избавиться от старого домена и ссылок в индексе?

Также, может ли являться вышеописанное основной причиной драматического падения в выдаче?

Ingvarr
На сайте с 26.04.2009
Offline
452
#8
easywind:
Сколько времени прошло с момента добавления записи в роботс?

более 2-х недель

Ingvarr добавил 19.11.2011 в 18:55

easywind:
В сайтмапе страницы удалены?

таких страниц там никогда и не было

Ingvarr добавил 19.11.2011 в 18:55

easywind:

Для удаления страниц рекомендуют ставить выдачу 404 или 401 страницы тогда бот точно поймет что она удалена.

такой возможности нет

E
На сайте с 21.09.2009
Offline
283
#9
Ingvarr:
более 2-х недель

Ingvarr добавил 19.11.2011 в 18:55

таких страниц там никогда и не было

Ingvarr добавил 19.11.2011 в 18:55

такой возможности нет

Тогда только ждать и может быть удалится :)

golf4man
На сайте с 16.08.2010
Offline
136
#10
easywind:
Тогда только ждать и может быть удалится :)

Да удалится конечно. Это же Google :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий