Страница просканировано, но не проиндексировано

Я прекрасно отдаю себе отчёт в том, что и мои проекты - пыль для него. Логи периодически анализирую в свободное время для того, что бы когда начнётся очередной переобход - прекратить любые работы на рабочих проектах. (так меньше вероятность гуглоботу нарваться на ошибку).

Но Вы так и не ответили на вопрос: "Подскажите, пожалуйста, как путём ковыряния логов можно узнать сколько ждёт паук Вашего ответа?"

А я утверждал, что время ответа можно узнать из логов или как-то иначе? Это ваша интерпретация, и вопрос основан только на ней.

Не поленился и проанализировал:

Т.е. за ~12мин. он 204 раза произвёл опрос. И это в период затишья, между обходами, можно курить дальше.Но я реально не понимаю как по логам можно определить сколько он ждал?

Так же осознаю, что гугл может в раз всё это выплюнуть по любой причине и меня не спросить. Поэтому особо на него и не полагаюсь. Стараюсь держать яйца в разных корзинах. На нём свет клином не сошёлся.

У меня два ИМ с разными откликами 50мс и 500мс и оба игнорируются Гуглом. Притом, что первый забит текстами. TTFB и тексты не решают в этом вопросе. Что-то должно быть еще. 

Да, но целая куча нетерпеливых юзеров, которые мигом перейдут на аналогичный ресурс (пускай он будет ниже в поиске и менее качественный), который откроется за 5сек. и через минуту уже забудут про Ваш ресурс.

Я бы не распостранял свои привычки в поиске на всю потенциальную клиентуру. Все разные, у всех свои привычки.

Вообще по-моему сканирование, индексирование и ранжирование это разные процессы, но без первого не будет второго, а без второго - третьего (ИМХО).

Х.з., копайте дальше... (может тексты скучные или не по теме, как вариант) Эта искалка вообще как капризная дама.

Регулярно затариваюсь на Миралинксе. Пробиваю траст по xtool, чтоб не меньше 5. Конкуренты тоже страдают. Кое как держится DNS и Мвидео, остальные по моей семантике сильно проседают OZON, Citilink, Eldorado. В яше я этих чертей уже обогнал, а в Гугле прям напасть какая-то, массовая пессимизация. И не только у меня.

Я прошу вас привести конкретные примеры как (по вашему же заявлению) из нескольких предложений сделать уникальные товарные страницы на 10K единиц, а вы мне называете раcкрученный бренд международного уровня, который приводить в сравнение с обычными местечковыми товарными сайта просто некорректно. Ежу понятно, что на Алиэкспрессе никто ничего не уникализирует, там этот вопрос вообще не стоит, там востребованность у сайта такая, что большинство мелкого и среднего бизнеса к подобным показателям не приблизятся от слова совсем. 

Продемонстрируйте пожалуйста свою изюминку, чтобы мы понимали о чём речь.

Краулинговый бюджет - это не то, сколько физически Гугл может обработать адресов на сайте, краулинговый бюджет - это то, какую квоту определит поисковик для планового переобхода. Если рейтинг (траст) у сайта низкий, то поисковик это будет делать крайне вяло, не потому что не может быстрее и больше, а потому что для него не будет такой задачи - оперативно индексировать материалы сайта если они МПК/НКС. 

Задача TC - избавиться от довеска огромного кол-ва неуникальных страниц, раскачать траст, прокачать целевые товарные группы и товары.