Robots - запрет индексации

O
На сайте с 08.12.2010
Offline
111
1275

В Вебмастере Яндекс постоянно то добавляет, то удаляет страницы. Как правильно прописать о запрете:

Правильная страница:

/cat/routery-3g-4g-2.html

Регулярно попадаются подобные:

/cat/routery-3g-4g-2.html?s=2&f=2

и через небольшой промежуток их удаляет

Правильная:

/-3g-kamery-2.html

Неправильная:

-3g-kamery-2.html?s=2&f=2

И таких страниц много. Как правильно запретить в robots, чтобы после html игнорировал такие вещи?

donc
На сайте с 16.01.2007
Offline
663
#1

каноникалом это лечат)

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
Д
На сайте с 06.02.2017
Offline
2
#2

Disallow: /*?s=2

не пойдет?

Snegopad
На сайте с 14.08.2008
Offline
123
#3
Дарэл:
Disallow: /*?s=2
не пойдет?

Должно подойти!

angel57
На сайте с 01.04.2014
Offline
155
#4
Дарэл:
Disallow: /*?s=2
не пойдет?

Или можно:

Disallow: /*?s=

На случай если с другими цифрами есть

(Clean-param еще директиву можно)

O
На сайте с 08.12.2010
Offline
111
#5

Да, спасибо так и сделали, плюс каноникал криво работал - написали в тех поддержку CMS все поправили. Сейчас посмотрим на результат. Вот, что происходит сейчас:

Постоянно ставит яндекс: то добавляет, то удаляет.

png Untitled.png
akorneev
На сайте с 20.01.2017
Offline
61
#6

Обрубайте все динамические

Disallow: /*?s

При правильной настройке CMS и адресации целевых страниц по этой ветке адресов быть не должно.

Размещение ссылок в группе строительный сайтов. Строгий лимит кол-ва внешних. Без бирж и левых ссылок. ✔ Оплата только после полезного эффекта! (/ru/forum/1016660)
donc
На сайте с 16.01.2007
Offline
663
#7

odbs, и все остальные, кто тут про robots писал

Вот что нам сообщает прямым текстом гугль, к примеру (Яндекс ничего не сообщает, но это ничего не значит, мы же знаем)

Настройки robots.txt не влияют на ссылки с других сайтов
Googlebot не будет напрямую индексировать содержимое, указанное в файле robots.txt, однако сможет найти эти страницы по ссылкам с других сайтов. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на сайт, могут появиться в результатах поиска Google. Чтобы полностью исключить появление URL в результатах поиска Google, используйте другие способы: парольную защиту файлов на сервере или метатеги с директивами по индексированию.
O
На сайте с 08.12.2010
Offline
111
#8
donc:
odbs, и все остальные, кто тут про robots писал
Вот что нам сообщает прямым текстом гугль, к примеру (Яндекс ничего не сообщает, но это ничего не значит, мы же знаем)

Поправили, изменили роботс, а так же подкорректировали каноникал, который корректно не работал ввиду подгрузки страниц

Сейчас yandex удалил все кривые страницы и добавляется новые в индекс, при корректно настроенном робоксе и "каноникле" страницы быстр опопадают в индекс, а некоторые в течении недели залетают в индекс. Если страница СЧ или с НЧ запросами, то может и в ТОП10 встать

png Untitled.png

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий