Виктор Петров

Виктор Петров
Рейтинг
240
Регистрация
05.01.2020
Ребята, не стоит вскрывать эту тему
Denechka #:
Но Вы так и не ответили на вопрос: "Подскажите, пожалуйста, как путём ковыряния логов можно узнать сколько ждёт паук Вашего ответа?"

А я утверждал, что время ответа можно узнать из логов или как-то иначе? Это ваша интерпретация, и вопрос основан только на ней.

Denechka #:
Это пыль для гугла.

Для гугла и ваш сайт - пыль. Но его лимиты - не пыль для вашего сайта. Смотрите логи, сопоставляйте количество заходов гуглобота и сопоставляйте с реальным объёмом сайта.

Denechka #:
Это всё софистика. Слушайте больше дружище Мюллера и его друганов. Они говорят лишь то, что им дозволено сказать. Так сказать официальную позицию. И это правильно, я бы и сам так делал.

Это не софистика. Я люблю ковырять логи. А то, что Мюллер не совсем в своём уме - это и так понятно. Хотя в случае "двух минут" здравое зерно всё равно есть. Если мне позарез нужно попасть на определенный ресурс - я буду ждать и 5 минут, перезагружая страничку. Не загрузится - позже зайду.
Другое дело, что владельцу сайта на такое рассчитывать не стоит, всегда есть альтернативы его ресурсу, и стоит поднапрячься, чтобы сайт был доступен - и быстро - и людям, и поисковым ботам.
Однако самый важный момент - это всё таки вопрос краулингового бюджета в этом контексте. Его искусственно не увеличишь, а тут человек 10 тыщ страничек разом влил без редиректов. 

andiel #:
Интересно очень... Это проверенная инфа?

Это в общем смысле сказано. Новые факторы появляются постоянно, часть старых - отваливается. Постоянный процесс. И ботов будут подстраивать под такие факторы всегда.
Если брать коммерцию, то с точки зрения ПФ выигрывает тот магазин, который лучше продаёт и у которого есть лояльная аудитория. Гуглобота в "корзинах" ещё пару лет назад ловили, проверял, гадина железная. Яндекс в этом году ломанулся в этом же направлении, они это вслух озвучили.
А проверить, что у вас там с точки зрения продаж - способов не особо-то много.

Mik Foxi #:
ну кто-то какой то бред напишет и понеслись

Мораль-то простая. Боты всегда будут пытаться имитировать реального человека и его действия, притом с учетом того, что в данный момент подразумевает Яндекс. Снизилась эффективность бота - внесли корректировки в настройки. Появился новый фактор, влияющий на эффективность - прикрутили.

Denechka #:
По своему опыту, тут время отклика имеет значение. Долго ждать он не любит. Ну а когда дойдёт очередь - он может съесть много, если конечно его принудительно не глушат. Если содержание его заинтересует - плевать он хотел на ограничения.

Мюллер как-то обмолвился, что время ожидания отклика сайта для гуглобота - аж 2 минуты. Он терпеливый. Другое дело, что в реале он может этого и не делать. После пары зависонов пометит документ или хост как чересчур тормозной - и лимит на обходы уменьшит. Вот тебе 5 URL в очередь при заходе раз в неделю - и делай что хочешь.
То же самое и с редиректами. Формально - 20 переходов (насколько я помню). Фактически, судя по логам, может послать сайт уже и на пятом.
Так что да, многое упирается в своего рода "карму" сайта, его техническое состояние, интерес для ползателей, и ещё пачку сигналов.

Skanavy7 #:
У меня есть интернет-магазин, где каждая страничка, будь-то карточка или категория, расписана по-википедийски. И вот точь-в-точь такая же ерунда. 

Потому что не всё упирается в контент.
Гуглобот технически имеет ограничения на обход сайта. Вот он получил документ - вот он получил с этого документа список ссылок, которые поставил в очередь на дальнейший обход. И приоритет этим ссылкам он отдаст разный, в соответствии со своими собственными алгоритмами.

Frost bite #:
А это я еще переписываюсь с админами Мегафона. О проблеме оповещены. Надо было сразу им абузу кидать.

Мегафон для накруток любят по одной причине: IP привязан к определенной локации, несмотря на реальное гео. Ну, и ещё пара плюшечек. Не более того.
В общем то, нежно любимая всеми вебмастерами рунета Metropolitan Branch у того же Яндекса давным-давно помечена как заспамленная, так что не исключено, что использование её вскоре станет чем-то типа размещения сайта в зоне XYZ - можно, но не стоит.
Начинайте уже писать в абузы Теле2, МТС, Билайна, владельцам взломанных ПК и хостерам вообще. Только Мегафон бомбить - малоэффективно.
Как совершенно справедливо отметил выше один сэр, стоит разработчику софта для накруток или вождям нескольких сообществ в соцсетях дать своей пастве новые рекомендации - они ломанутся их внедрять даже не включая голову. Ну, скажем, будут нагуливать не там, где есть Метрика, а где есть "Дживосайт" - и боты будут писать туда бессмысленную фигню. Или ещё что-нибудь.
Беда-то не в Мегафоне, и не в Метрике. Это беда поглобальнее будет. С дурью никакой абуз не справится.

Vladimir SEO #:
зачем? это ж порезка по нч трафику сразу

Так я к такому экстремизьму не призываю. Просто видал такие магазины - хорошо себя чувствуют, удивительно даже.

Дилетан #:
Твоя проблема не в редиректах, не в текстах и не в ссылках, как пишут здесь некоторые. И уж точно не в МПК.  
Пришли скрин наблюдений https://developers.google.com/speed/pagespeed/insights/

ШТА? А там, во-первых, шаблончик-то не общий ли для всего сайта? А во вторых, он увидел, но ещё не проиндексировал, или просмотрел, но не стал вносить в индекс. Какие там Web Vitals, если речь об индексации?

Антоний Казанский #:
Ваша ошибка - одновременная загрузка 10K неуникальных товаров. Это надо было делать поэтапно, дозированно, прокачивая каждый товарный кластер и отдельные группы товаров, попутно уникализируя часть товаров.

Как вариант - я бы больше внимания на категории обратил и их прокачку. В ряде случаев товарные карточки можно вообще от индекса прикрыть, на позициях не сказывается.
Тут вот, кстати, к ТС вопрос: ну, не проиндексировано. А как сказалось на общей динамике - позиции, траф?

Всего: 4428