И снова об индексации большого раздела сайта (много букв)

123 4
SilverMaster
На сайте с 08.10.2003
Offline
228
1179
И снова об индексации Google

Камрады, устраивайтесь поудобнее, будет много букв (и немного картинок)

Мы давно работаем под Google (US) и в 2017-2019 годах 
загнать несколько миллионов страниц в индекс сайта (не нулевого сайта) не представляло особых проблем. 

Сейчас происходит какой-то треш, если один из наших текущих проектов мог по какой-то причине не взлететь, то сразу два - это уже тревожно... 

Итак по порядку, чтобы вы не думали что мы совсем уж нубы.

1) Домен зарегистрирован жарким летом 2008 года.
2) Ahrefs:  DR 73, Referring domains - 9790, Backlinks - 9.85M

3) Страниц в индексе было около 10к (львиная доля ссылок как раз на внутренние)

Добавляем мы обычно новые страницы (а тематика не всегда один в один с основной веткой сайта) следующим образом:

1) Создается две корневые папки на домене (пусть это будут папки /catalog/ и /products/), первая папка это сам каталог, вторая папка это сами лендинговые страницы, которые мы хотим добавить в индекс. 

2) Каталог обычно делается тремя уровнями - первый
уровень (100-300 ссылок) с небольшим анонсом вывешивается списком на главной странице сайта, 
второй уровень это следующая ступенька в глубь сайта - на ней тоже список, стараемся как можно 
больше его уникализировать от таких же каталожных
страниц, но по сути они конечно очень похожи друг
на друга как и на любом другом сайте. Третий уровень - это уже уровень ссылок на лендинговые страницы, обычно с небольшими снипетами о самих страницах.

3) На каталожные страницы проставлены ссылки со старых страниц в довольно большом кол-ве

4) Лендинговые страницы уникальны, лежат они в одной папке /products/ она хоть и основана на едином шаблоне, но по своему наполнению довольно сильно отличается одна от других. Страницы имеют микроразметку и сделаны страницы AMP. Pagespeed лендинговых страниц в районе 95-97%

5) Лендинговые страницы перелинкованы между собой (20-30 ссылок)  и имеют breadcrumbs

Раньше такая схема работала на ура, пусть и не быстро - но Google проедал за сутки 10-50к страниц
и какими-то порциями выкидывал страницы в индекс.

На нашем сайте сейчас совершенно другая история.

Не ест Google новую ветку сайта - и все тут.

То есть за примерно полгода в индексе таки появилось наверное - 30-40к новых страниц, и все они ранжируются в Google (US, New York) на уровне 1-5 позиции по своим сугубо HЧ запросам.

индексация


Косвенно можно предполагать что со страницами все ок, равно как и с доменом.

Да, бывают скачки до 20-30к Googlebot в сутки - но скорее это исключение нежели правило, да и в индексе страницы не прибавляются в таком количестве.

Googlebot


Пробовали добавлять sitemaps - из 50к URLs, которые можно добавить в один Sitemap - Google проедает
максимум 500 - 1000 страниц, что примерно 1-2% от общей массы страниц в Sitemap.xml.

В последнее время добавили еще один каталог для лендинговых страниц, по географическому признаку - 
с картой, маркерами, фильтрами, с блэкджеком и шлюхами -  но он тоже никакого видимого результата не дал.

Что бы хотелось услышать: что делать для более контролируемой индексации.
Что бы не хотелось услышать: откровенно черные схемы SEO (спам, взлом и тп)
От кого хочется совета: кто сталкивался раньше и сталкивается сейчас с добавлением в индекс страниц 
от 1млн.

Можем добавить любые уточнения по проекту, в рамках разумного конечно

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
Vladimir SEO
На сайте с 19.10.2011
Offline
1709
#1
увы увы увы, гугл с этого лета урезал индекс, все что ранее заходило в индекс спокойно - теперь идет с большим скрипом, так же урез некоторым сайтам индекс. У меня такое на проектах 5 примерно. Думаю что урезка свзязана с новым антиспам алго и тратами на ресурсы
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
SilverMaster
На сайте с 08.10.2003
Offline
228
#2
Vladimir SEO #:
 новым антиспам алго и тратами на ресурсы

Скорее всего так и есть, вопрос чем же теперь радовать Google чтобы индексация происходила более динамично?

Может у кого-то есть позитивный опыт? Я так почитываю форум - писали что в вордпрессные сайты вламывают по 200к страниц с иероглифами, как они это делают?

Vladimir SEO
На сайте с 19.10.2011
Offline
1709
#3
SilverMaster #:

Скорее всего так и есть, вопрос чем же теперь радовать Google чтобы индексация происходила более динамично?

Может у кого-то есть позитивный опыт? Я так почитываю форум - писали что в вордпрессные сайты вламывают по 200к страниц с иероглифами, как они это делают?

я ломом не занимаюсь, но подозреваю что хрумак работает и гса
богоносец
На сайте с 30.01.2007
Offline
753
#4
SilverMaster #:
писали что в вордпрессные сайты вламывают по 200к страниц с иероглифами, как они это делают?

И  всё сводится к вопросу «А как подлый гугл фильтрует доры?»

Нормальные люди используют 3 К слов, шекспиры 10+... но из 187 слов можно сгенерить 100 К страниц. А иероглифов – их же так много...

SilverMaster :
Можем добавить любые уточнения

Какая доля страниц, запрошеных ботом, является откровенным мусором..дублями..кананикал-другой-урл?

X
На сайте с 08.05.2012
Offline
111
#5
Да, с начала года проблема обострилась. Через адюрл заползает в индекс из 20 страниц - одна. Был бот, здесь его рекламировали, через него достаточно быстро все добавлялось, но и он сейчас не дает никаких подвижек.
SilverMaster
На сайте с 08.10.2003
Offline
228
#6
богоносец #:

И  всё сводится к вопросу «А как подлый гугл фильтрует доры?»

Нормальные люди используют 3 К слов, шекспиры 10+... но из 187 слов можно сгенерить 100 К страниц. А иероглифов – их же так много...

Какая доля страниц, запрошеных ботом, является откровенным мусором..дублями..кананикал-другой-урл?

Какие люди! Рад снова читать Вас!

Из страниц, которые получает Google - откровенным мусором я считаю только каталоги, в которых кроме ссылок на landing pages по сути ничего нет.

Все страницы имеют каноникал (на себя), дубликатов нет вообще

Страницы Landing - довольно уникальны, как по тексту так и по блокам.

Если брать долю - я бы сказал примерно 4% это откровенно Г - остальное намного лучше (и ранжируются в выдаче ок)

МА
На сайте с 02.11.2018
Offline
168
#7

Ещё несколько месяцев назад вышеупомянутым ботом я тоже пользовался и Гугл глотал всё на ура, только подавай. Новый сайт не лезет уже пару месяцев - процентов 5 максимум от всех страниц сожрал. И ботом его, и ссылками, и так его, и сяк - ни в какую.

Интересно было бы дорвейщиков почитать в этой теме.

Nokia x71 (https://x71.ru/) - хороший смартфон, и отзывы интересные
SilverMaster
На сайте с 08.10.2003
Offline
228
#8
Махмуд Аббас #:

Интересно было бы дорвейщиков почитать в этой теме.

Да вообще, было бы интересно послушать хоть кого, кто смог быстро загнать в индекс хоть что-то более менее отличающееся от 1000 страниц хотя бы :)

богоносец
На сайте с 30.01.2007
Offline
753
#9

И дорвейщикам наверное тоже интересно – как не надо генерить...

У дорвейщиков задача короче, они заранее согласны на то, на что владельцы магазинов вряд ли согласятся.

SilverMaster
На сайте с 08.10.2003
Offline
228
#10
богоносец #:

И дорвейщикам наверное тоже интересно – как не надо генерить...

У дорвейщиков задача короче, они заранее согласны на то, на что владельцы магазинов вряд ли согласятся.

Мне пока приходит на ум только одна идея - брать из выдачи дорвеи, анализировать кол-во страниц в индексе и дату создания (попадания в индекс) - дабы найти те варианты, те технологии что используются. 

А пока неспешно анализирую конкурентов по большому числу метрик, что да как... распутье короче

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий