sam7en

Vladimir SEO #:

ахахаххаха, на , по твоей же ссылке 

ты наверное задашь вопрос а зачэм ? ответ прост 

почему не прочитал справку а? )) я ее если что редачу как эксперт Гугла

Vladimir SEO #:

Ну так должны быть не только в хрефах ))) хоть бы справку почитали

В апы режет - считай надолго. 

Найми спеца по гем де в бурже. Тут такие не водятся, на бхв

SeoA #:
Это продвирутый афф фильтр гугла: алгоритмическая дедупликация на уровне хостов (Host Clustering / Global Canonicalization Drop).

big boy #:
А какого типа была сетка? Обзорники? Или прям казик с блекджеком и всеми вытекающими?

Vladimir SEO #:

когда именно ? 

ссылки есть между сайтами? 

это плохо

С этого и надо было начинать)))) 

афа не существует между странами

найми спеца ( не меня) . В гембле вагон денег , выделить придется бабла

sam7en #:

Куплю дропы по тематике криптовалюта/финансы рассмотрю все предложения по всем бюджетам

Нужно очень много, потому буду рад всем откликам

Пишите в телегу - sam3d

sgrumi:

Это решается через кэширование и throttling

Количество страниц - не важно. Понятно, что чем больше страниц, то тем дольше боты будут ходить по сайту.
Но отдавать страницы по запросу - это штатный функционал сайта, то за ради чего он вообще сделан.
Поэтому сайт должен штатно выдерживать как 10 секундное посещение ботами, так и 5 часовое.
И боты не запрашивают по миллиарду страниц одномоментно. Они делают это последовательно.