Googlebot сканирует дубликаты страниц

A
На сайте с 27.06.2014
Offline
45
856

Ситуация такая, есть УРЛы с параметром ?sort=

Такие страницы я успешно закрыл в файле robots.txt

Но они сканировались несмотря на запрет в файле robots.txt и успешно добавлялись в "сопли".

Было принято решение добавить мета-тег: META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Для того, чтобы Googlebot просканировал страницы и увидел запреты (мета-тег), я убрал запрет с файла robots.txt.

В итоге, проверяю через Вебмастер Тулс в "Посмотреть, как Googlebot" и вижу, что он успешно сканирует страницу, игнорируя мета-тег, да еще и есть возможность добавить ее в индекс.

Как поступить в такой ситуации? Обратно закрыть в Роботсе от греха подальше?

LEOnidUKG
На сайте с 25.11.2006
Offline
1554
#1
я убрал запрет с файла robots.txt.

Дело было вечером, делать было нечего?

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
A
На сайте с 27.06.2014
Offline
45
#2
LEOnidUKG:
Дело было вечером, делать было нечего?

Что Вы имеете ввиду?

LEOnidUKG
На сайте с 25.11.2006
Offline
1554
#3
Ambidexter:
Что Вы имеете ввиду?

Верните обратно. А вообще гугл будет кушать эти страницы, если на них есть ссылки с сайта. Может не будет показывать содержимое их, но кушать будет точно.

KU
На сайте с 09.07.2009
Offline
61
#4
LEOnidUKG:
Верните обратно. А вообще гугл будет кушать эти страницы, если на них есть ссылки с сайта. Может не будет показывать содержимое их, но кушать будет точно.

Все верно ТС сделал, метатэги как раз уберут из индекса ненужные страницы, нужно только подождать.

Гугль не влючит в индекс страницы с мета тегом noindex, или http заголовком noindex даже если есть внешнии ссылки на эту страницы, в этом и есть основное отличие тегов от robots.txt.

I
На сайте с 20.10.2012
Offline
115
#5
Было принято решение добавить мета-тег: META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Верно вам подсказывают, только так страницы удаляются из индекса Гугла, в отличие от Яндекса. Ждите.

[Удален]
#6

Ух, хотел создавать похожую тему. Жрет гугл дубли и не давится в отличии от яши, теперь знаю, что делать.

A
На сайте с 27.06.2014
Offline
45
#7

Всем спасибо за ответы. Буду ждать.

Будут новости, буду писать в тему о результатах.

---------- Добавлено 01.12.2014 в 22:52 ----------

JerichoGB:
Ух, хотел создавать похожую тему. Жрет гугл дубли и не давится в отличии от яши, теперь знаю, что делать.

хавает, потому что вполне возможно, что есть прямые ссылки на "закрытые" страницы в роботсе.

Вот как раз и проверим теперь, сделает ли свое дело мета-тег.

I
На сайте с 20.10.2012
Offline
115
#8

Важное уточнение, откройте эти страницы в robots.txt для индексации. Иначе Гугл никогда не узнает что вы прописали тег NOINDEX.

A
На сайте с 27.06.2014
Offline
45
#9
iman:
Важное уточнение, откройте эти страницы в robots.txt для индексации. Иначе Гугл никогда не узнает что вы прописали тег NOINDEX.

Я открыл, конечно.

M
На сайте с 26.06.2013
Offline
34
#10
Ambidexter:
Всем спасибо за ответы. Буду ждать.

Будут новости, буду писать в тему о результатах.

---------- Добавлено 01.12.2014 в 22:52 ----------



хавает, потому что вполне возможно, что есть прямые ссылки на "закрытые" страницы в роботсе.
Вот как раз и проверим теперь, сделает ли свое дело мета-тег.

Был добавлен тег на нескольких магазинах и открыт роботс. Прошло полгода, а результата ноль. Из индекса ушли только корзина, регистрация и подобные сервисные страницы, пагинация и страницы сортировки остались (внутряка на сортировку нет, теперь сделано через аякс).

Зы: кеш, конечно, меньше чем 6 мес.)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий