Хочу понять индексацию Google

увы это загадка прошлого и настоящего , ну и конечно будущего

Вы сравните, что по site: показывает гугл и AOL, которые работает на базе Гугла. Вот там жесть так жесть будет... Вот только я пока не определился, как это трактовать. Тех страниц, что нет в AOL, на них и трафика нет обычно, пока так выходит.

miraamira, Unlock, Я так понял меня ни одного глючит. Все последние проекты, которые я запустил, по ним пляшет показатель количества страниц. Что касается AOL, то тот вообще может показать 5 страниц, на 100 страничном сайте, я не говорю уже про тысячи. А начинаешь прокликивать даже 100 страниц, а он тебе может на 3-ей показать, что вот тут и все и никаких там прежних omitted results!

Так вот, самое интересное в том, что если Вы зайдете с другого браузера (где у вас нет истории), например с сафари и откроете выдачу Google, используя VPN USA, то вы увидите совсем иную картину.

AOL шокирует вообще - раньше я по нему определял US выдачу неперсонализированную, теперь не пойму куда и смотреть.

Мало того, вы пробывали смотреть кешированные версии этих страниц, по многим из них Google выдаст ошибку.

-----

Лично я пока могу связать данное явление лишь с плясками по дата центрам, но по некоторым проектам эти пляски уж больно затянулись. Больше всего на этом фоне бесят WMT, которые с новым обновлением теперь вообще никакой инфы не дают. Зачем вообще этот инструмент, если по нему трекинг позиций нельзя посмотреть?

Думаю точный ответ на этот вопрос знает кто-то из команды Sem Rush, благо русских там полно. Я не знаю есть они или нет на этом форуме, но хотелось бы услышать их комментарии.

Вот почему в AOL проиндексированных страниц, обычно, меньше? Хотя встречал и обратный случай. Гугл явно отдает АОЛ данные с определенными фильтрами, но что они означают? Пока заметил, что если страницы нет при проверке в AOL, то и трафика на неё не будет. И за что Гугл часть страниц вот так пессимизирует - непонятно.

Unlock, ну раньше AOL можно было расценивать как де-факто "чистая" выдача по US. Вот какие по AOL позиции были, такие же были 100% в US (но опять же без персонализации). Так же данные совпадали с SEM Rush, только были актуальнее, так как SEM Rush выдает позиции для популярных сайтов чаще, для новых реже, хотя его данные совпадают с апдейтами ДЦ гугла.

Кстати, сейчас тут в соседней ветке паранойя по поводу мобильной выдачи, так вот как раз SEM выдает отдельные позиции по ней. Я этот фактор заметил еще в далеком 2014. Так вот данные SEM 1 в 1 совпадают с AOL. А их скриншот совпадает с выдачей, которую можно увидеть на свежем браузере, со свежего компа, со свежим амеркинским IP.

Но вот, блин, незадача. Если даже так глянуть вроде-бы чистую выдачу. Страница может там быть, к примеру на 12-м месте, а вот на AOL - идентичная выдача. Я проверял все 10 страниц (иногда 12-13 дает)...100 позиций одинаковые, но в одной есть твоя новая страница, а в другой ее нет.

Из этого я сделал вывод, что ДЦ на USA обновляется самым последним, в следствие чего, мы и не видим многих наших страниц, которые в других странах уже давно в выдаче. + Google USA по определению может быть более придирчивым и пропускать через определенный фильтр страницы для USA (ну это уж из раздела конспиралогии).

Здесь я могу легко ошибаться, я ничего не утверждаю - только факты.

Мало того, я как-то говорил про выдачу из 5-6 страниц вместо TOP10, я это так же впервые увидел в AOL по суперконкурентным запросам, позже - эту тему ввели и для Google, кто бы тут что не говорил - это реальность.

У всех разные мнения, но те страницы которые в supplemental, трафика Недают.... это хвакт)

В теории Гугл показывает supplemental только когда не хватает страниц из основного поиска, и чтобы не показываться пустоту он сует сопли. Но недостатка выдачи сейчас мало существует по каким запросам, поэтому на практике supplemental редко когда показывают пользователю, поэтому траффика с доп. выдачи Гугла нет.

все это как то непонятно и зыбко, особенно когда речь идет о десятках тыс страниц.

из интересного вчера была найдена программулина, в которой автоматизированы все известные науке танцы с бубнами для проверки индексации http://urlprofiler.com/blog/google-index-checker/

пока не пробовали ее в деле

я замечал, что в даже в разное время выдача показывает разное количество страниц в индексе. на одинаковый запрос site:site.com утром выдает все, ближе к вечеру (по Европейскому времени) выдает уже без "соплей". у меня это около 55% от общего.

И я заметил. Но у меня в пределах 10%.

Еще в Инструменты для веб-мастеров -> Ошибки сканирования вылазят страницы 2-летней давности, есть и 3-х летней, когда еще меню было на флеше, пишет что "center-menu.swf' не может найти - ЖЕСТЬ 😡