как быстро убрать несуществующие страницы из индекса?

Павел Горбунов
На сайте с 13.06.2011
Offline
123
2658

Классический пример дублирования:

В индекс попадают страницы вида site.ru/?id=695,site.ru/?id=678,site.ru/?id=645.

Они дублируют не только главную страницу, но и некоторые внутренние страницы, но наибольшее количество дублей - на главной странице.

Таких страниц на сайте не было и нет, со всех адресов с GET-параметром id поставлены редиректы 301 на основные страницы. (На всякий случай уточняю, что 302 редирект вместо 301 никто не Поставил, эта ошибка исключена).

То есть страниц нет, а в индексе они есть.

Вопрос - как можно быстрее всего исключить такие страницы из индекса?

Не стремитесь сделать лучше - улучшайте!
Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

1. disable duplicates with your robots.txt

2. use <link rel="canonical" href="http://example.com/">

3. remove duplicate pages from yandex https://webmaster.yandex.com/tools/del-url/

4. remove duplicate pages from google https://support.google.com/webmasters/answer/1663419?hl=en

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
Павел Горбунов
На сайте с 13.06.2011
Offline
123
#2

Оптимизайка, Thank your very much!

---------- Добавлено 08.02.2017 в 09:39 ----------

Оптимизайка:
1. disable duplicates with your robots.txt
2. use <link rel="canonical" href="http://example.com/">
3. remove duplicate pages from yandex https://webmaster.yandex.com/tools/del-url/
4. remove duplicate pages from google https://support.google.com/webmasters/answer/1663419?hl=en

It is possible only for the small number of pages.

In the case if there are thousands of such duplicated pages, it it impossible to submit every URL in del-url tools.

cblcg
На сайте с 28.06.2012
Offline
232
#3

через панель вебмастера, но надо чтобы либо был запрет метатегами, либо 404, либо роботс.тхт - это касается яндекса

Есть программы которые позволяют массово отправлять на удаление, например такая программа как ComparseR способна... ну либо скрипт на imacros или зенке заказать

Павел Горбунов
На сайте с 13.06.2011
Offline
123
#4
cblcg:
через панель вебмастера, но надо чтобы либо был запрет метатегами, либо 404, либо роботс.тхт - это касается яндекса
Есть программы которые позволяют массово отправлять на удаление, например такая программа как ComparseR способна... ну либо скрипт на imacros или зенке заказать

Вот это уже хорошая идея.

Зависит от количества таких страниц ,конечно.

А массовую отправку страниц на ПЕРЕиндексацию после смены урлов ComparseR может делать?

cblcg
На сайте с 28.06.2012
Offline
232
#5

да, но сейчас в яндексе не более 10 в 1 день отправлять можно. Насчет гугла не знаю. демоверсии программы должно хватить для этого, т.е. покупать не надо ничего

---------- Добавлено 08.02.2017 в 11:24 ----------

важно чтобы потом они обратно не зашли, т.е. позаботится о закрытии их от индексации

Павел Горбунов
На сайте с 13.06.2011
Offline
123
#6
cblcg:
да, но сейчас в яндексе не более 10 в 1 день отправлять можно. Насчет гугла не знаю. демоверсии программы должно хватить для этого, т.е. покупать не надо ничего

---------- Добавлено 08.02.2017 в 11:24 ----------

важно чтобы потом они обратно не зашли, т.е. позаботится о закрытии их от индексации

Но если их в robots.txt закрыть, то робот на них не сможет зайти. И не поймет, что их нужно удалить из индекса.

donc
На сайте с 16.01.2007
Offline
663
#7

Павел Горбунов,

Только так

RewriteEngine On

Redirect 410 /страница 1 от корня

и так далее, все страницы

Если прям быстро надо. А потом эти строки убрать и поставить редерикт

Но так я делать не советую

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
cblcg
На сайте с 28.06.2012
Offline
232
#8
Павел Горбунов:
Но если их в robots.txt закрыть, то робот на них не сможет зайти. И не поймет, что их нужно удалить из индекса.

робот зайдет, просканирует и потом выплюнет запрещенные... но тут есть одно НО:

для яндекса правила в robots.txt железообетонны, а вот гугл может проигнорировать, поэтому для гугла чтоб на 100% надо использовать метатег robots почитать если не вкурсе

Павел Горбунов
На сайте с 13.06.2011
Offline
123
#9
cblcg:
робот зайдет, просканирует и потом выплюнет запрещенные... но тут есть одно НО:
для яндекса правила в robots.txt железообетонны, а вот гугл может проигнорировать, поэтому для гугла чтоб на 100% надо использовать метатег robots почитать если не вкурсе

Мета-тег robots в данном случае лучше не использовать, чтобы избежать ошибок реализации.

Если настраивать его, и в случае поломки будет выводиться

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

на нужных страницах, ничего хорошего от этого не будет.

а вот link rel= canonical - здесь поможет, и ошибок не возникнет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий