Подскажите, пожалуйста, как построить такой график?
https://search.google.com/search-console/settings/crawl-stats (не знаю сработает ссылка или нет)
Настройки > Статистика сканирования
Это пыль для гугла. Вы краулинговый бютжет рассматриваете только в контексте дискового пространства?
А я ещё рассматриваю как бюджет реального времени.
Это всё софистика. Слушайте больше дружище Мюллера и его друганов. Они говорят лишь то, что им дозволено сказать. Так сказать официальную позицию. И это правильно, я бы и сам так делал.
Включите свою логику - никто не любит долго ждать и напрягаться. Ни гуглобот, ни пользователи (для кого вся эта каша заваривается), ни ленивые разрабы.
А, может и правда у ТС банально проблемы с откликом? Он вроде ни словом об этом не обмолвился. Но это я так, в порядке общего бреда.
Вообще я не хочу хвалиться, но каждый запрос ходовой профилирую и анализ EXPLAIN делаю. Где надо ставлю индексы, где не надо убираю и т.д., стараюсь уменьшить длину ключа, не делать лишних запросов, провожу нормализацию/денормализацию данных (не всегда удачно, правда) т.к. каждая мсек у меня на счету.
Вообще на больших данных не ошибки неизбежны. Инженерная точность 10%. Если ошибки в этом пределе - стараюсь не замечать проблемы, откладываю на потом, иду дальше не зацикливаясь.
По моему, чем более оптимизировано информационное обеспечение, тем лучше всем - и процессор меньше напрягается, не выполняя левых команд, и гуглобот меньше ждёт своей очереди, и пользователь (что самое главное), да и мне быстрее отлаживать.
Сгенерировать из 3-5 предложений уникального контента почти на 10K товарных страниц? :) Вы верно шутите.
нет. Вы меня не верно поняли.
Пардон за офф-топ: А почему, под сообщениями, какие-то левые ссылки автоматом появляются?
Потому что не всё упирается в контент.Гуглобот технически имеет ограничения на обход сайта. Вот он получил документ - вот он получил с этого документа список ссылок, которые поставил в очередь на дальнейший обход. И приоритет этим ссылкам он отдаст разный, в соответствии со своими собственными алгоритмами.
год назад
Не думаю, что всё так плохо. Такие сайты вытягивать можно и нужно. Тут я вижу пока 2 пути.
В любом случае не стоит опускать руки и слушать всепропальщиков-теоретиков. У меня таких страниц в разы больше и ничего, живу.
Многие из тех, которые без ошибок долгое время были не проиндексированы, просто отлёживались, ждали своего времени, многие доси ждут.
Так, что крест на них ставить ещё очень рано.
Желаю успехов!
А что значит "атака идет в виде серфинга."? В чём суть, цель и замысел атаки?
Может это сёрфинг в виде атаки?
а по сайту что делали?