Яндекс обходит несуществующие страницы

12
X
На сайте с 04.12.2018
Offline
152
1608

Летом случайно в индекс попало очень много страниц пагинации (кнопка "следующая страница" получилась без тормозов). Через неделю заметил, сделал с них всех 301 редиректы на первые страницы разделов. Так вот до сих пор вижу в статистике обхода Яндекса, что поисковик каждый раз посещает их, соответственно получая 301 редирект и расходуя "краулинговый бюджет сайта".

Такая ситуация нормальна?

Он вообще забудет про их существование?

Как ему помочь забыть?

Удобный съем позиций (http://allpositions.ru/redirect/58277)
bridal777
На сайте с 06.11.2008
Offline
246
#1

А как вы саму суть их появления решили? Может, новые продолжают генериться?

В Edu-Money бурж студенты зарабатывают для тебя сами! ( https://u.to/c06-GA )|| BEST СРА в СНГ с высокими ставками! ( https://u.to/WVC-GA )
TDSko
На сайте с 02.02.2015
Offline
75
#2

Автор скинь ссылку на сайт, иначе тебе помочь на основании твоих слов достаточно сложно.

Регистрация/продление доменов .RU и .РФ по 170 рублей. (https://domenland.ru/?utm_source=searchengines&utm_medium=podpis_tdsko&utm_campaign=refer) Кредитная карта ТИНЬКОФФ - до 300 000 руб. без справок и визита в банк (https://dragoweb.ru/r/?tinkoff) VPS/VDS с бесплатной поддержкой и низкими ценами! (https://dragoweb.ru/r/?vdska)
X
На сайте с 04.12.2018
Offline
152
#3
bridal777:
А как вы саму суть их появления решили? Может, новые продолжают генериться?

Не, теперь не генерятся.

Теперь смотрим сколько товаров в категории, вычисляем количество страниц пагинации и все, которые более необходимого количества, выдаём 301 редирект на первую.

[Удален]
#4

Тс, откуда у вас такая бредовая мысль вообще возникла? Первое, страницы пагинации это на порядок меньшее, чем страницы товаров, чисто по количеству. "Расход краулингого бюджета" - это вы вашему клиенту такую лапшу на уши вешаете? Что "много попало" решается 404.

X
На сайте с 04.12.2018
Offline
152
#5
Miha Kuzmin (KMY):
Тс, откуда у вас такая бредовая мысль вообще возникла? Первое, страницы пагинации это на порядок меньшее, чем страницы товаров, чисто по количеству. "Расход краулингого бюджета" - это вы вашему клиенту такую лапшу на уши вешаете? Что "много попало" решается 404.

1. Максимальное количество страниц = 1 + количество товаров / 50.

2. Сделал условие: если номер страницы пагинации > описанного в п.1 -> 301 редирект на 1-ю страницу.

Так понятнее?

"Расход краулингого бюджета" - это я сам начитался. Для меня информация.

Про 404 спасибо.

А чем 404 лучше 301 в данном случае?

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#6
Xubart:
Так вот до сих пор вижу в статистике обхода Яндекса, что поисковик каждый раз посещает их, соответственно получая 301 редирект

А в логах не смотрели, что спрашивает робот и что получает?

[Удален]
#7
Gray:
А в логах не смотрели, что спрашивает робот и что получает?

Ну смысла нет, если тс тупо не врет. Зачем правда было делать 301 неясно.

X
На сайте с 04.12.2018
Offline
152
#8
Miha Kuzmin (KMY):
Ну смысла нет, если тс тупо не врет.

Не вру :)

Miha Kuzmin (KMY):
Зачем правда было делать 301 неясно.

Блин, думал что так будет правильнее.

Буду переделывать на 404.

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#9

А в роботс запретить их просто не?

[Удален]
#10
Gray:
А в роботс запретить их просто не?

Смеешься? Тут тема есть уже вторая, если не ошибаюсь, про роботс. Да там стопудово запретят всю текущую пагинацию.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий