Переиндексация всего сайта уже 3 месяц

12
- Romanus -
На сайте с 20.01.2015
Offline
91
307

Всем привет.

С концам 2020 года полностью переделал структуру сайта (терять было особо нечего). Всё стало отлично, сайт переделал - всё огонь. Сделал редиректы по категориям и точечно по товарам. Всё как обычно. Но всё пошло не по плану.

Уже 3-4 месяца Яндекс ОООЧЕНЬ медленно клеит страницы и выкидывает из индекса мусор с 404 ошибками, старые страницы (которые сейчас отдают 301 на новые урлы) и т.д. 

В ЯВМ висят уведомления о том, что на сайте куча дублей:

Кучи дублей в ЯВМ

Хотя по факту 99% этих страниц удалены с сайта уже давно и отдают либо 301, либо 404:

404 ответ

Все позиции (те крохи, которые были) упали до 40-80 и по сути все запросы по всему сайту висят на 40-80, ни ссылки, ни тексты, ни корректировка анкоров и фрагментов, тайтлов и h1 - все бесполезно. Т.е. страницы не реагируют вообще на любые действия.

Т.е. вероятнее всего - сайт низкого качества (как было за обилие низкокачественных страниц, но мы запарились и для каждого товара сделали описания и всячески добавили рандомных блоков для уникализации). Но я Яндекс отлично понимаю в этом плане, т.к. сайт с таким количеством мусора не может расти:

Обход ботом Яндекса

Т.е. по факту - 80% страниц на которые он стучится отдают 404 или 301 (или связку 301 > 404). 

Вопросы:

1) Как заставить его выкинуть мусор из индекса? Прогонял через Indexer в Яндекс Браузере все страницы мусорные - эффекта минимум, а может вообще 0. Постоянно кидаю в принудительное удаление - эффекта тоже не много, но в течении месяца какой-то процент удаляется (не уверен, что из-за этих действий). Переобход... у меня мусорных страниц далеко не 1000 и по 100 штук в день особо не разгуляешься.  Пробовал вообще закрыть в robots.txt весь сайт. В надежде, что выкинет всё и я потом залечу только с нужными страницами, но... он выкинул весь сайт дней за 7, потом закинул в индекс правильные страницы, а через 3-4 дня еще вернул в индекс весь мусор :D Пробовал скормить карту сайта из мусорных страниц - 0 результата.

2) Стоит ли попробовать отдать ему 410 ответ вместо 404?

Делаю SEO. Веду блог - Romanus.ru ( https://romanus.ru )
L
На сайте с 17.06.2015
Offline
64
#1
Страницы с ответом сервера 404 отправляй на удаление, а страницы с ответом сервера 301 на переобход в Яндекс Вебмастер.
Vladimir SEO
На сайте с 19.10.2011
Online
2025
#2
404 уже пол года не удаляет, а редирект вообще не видит
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
- Romanus -
На сайте с 20.01.2015
Offline
91
#3

на переобход шлю и удаляю, но страниц много и процесс идет крайне медленно.

У второго сайта со аналогичной проблемой таких мусорных страниц около 30к и по 100 штук на переобход слать крайне долго :)

N
На сайте с 11.05.2011
Offline
130
#4
- Romanus - #:

на переобход шлю и удаляю, но страниц много и процесс идет крайне медленно.

У второго сайта со аналогичной проблемой таких мусорных страниц около 30к и по 100 штук на переобход слать крайне долго :)

А зачем Яндексу ваш сайт? Он, наверное, конкурент какому-нибудь сайту работника Яндекса - поэтому так и будет - медленно и долго... Переобход страниц Яндекса не работает вообще - это пустышка, созданная для успокоения вебмастеров.

JS
На сайте с 19.11.2020
Offline
97
#5
В последние два-три месяца с индексацией беда. До этого страницы залетали в индекс в течение двух минут после публикации. А тут уже неделю не добавляет новые страницы в индекс. Приболел Яшка.
X
На сайте с 04.12.2018
Offline
290
#6
Тоже столкнулся с этой проблемой, лучше б не удалял древние карточки товаров. Что интересно, Яндекс видит, что страница отдает 404, но вместо удаления ждет присвоение этого статуса (это из ответа пЛАТОНА), а на этот долгий период страница малозначимая, т.е. некачественная -(
Удобный съем позиций (http://allpositions.ru/redirect/58277)
Vladimir
На сайте с 07.06.2004
Offline
611
#7
Vladimir SEO #:
404 уже пол года не удаляет, а редирект вообще не видит
И редирект видит, и 404 тоже видит и затем удаляет
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Vladimir
На сайте с 07.06.2004
Offline
611
#8
- Romanus - :

1) Как заставить его выкинуть мусор из индекса?

2) Стоит ли попробовать отдать ему 410 ответ вместо 404?

1. Дату заголовка Expieres приведите в порядок ( смотреть хэлп ПС )
2. нет

Delahoya
На сайте с 13.11.2011
Offline
149
#9
Может проблема не в этом? Оптимизация, ссылки... Если говорите терять нет чего было, то какие позиции вы хотите чтобы были сейчас? ТОП 10? Поэтому и висит на 30-40, что вполне свойственно для сайта, которому особо нет чего терять
Когда-то здесь будет реклама.
X
На сайте с 04.12.2018
Offline
290
#10
Vladimir #:

2. нет

Почему? Это же повод сразу удалить страницу из индекса

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий