Если парсят, то надо проверять по IP и если слишком много в единицу времени, то отправлять ответ: "зайдите позже"(503-й, по-моему). Нормально работает.
Я тоже когда-то "попячил", но это было больше 10-и лет назад, когда AddWeb-ом сайты загонялись в топ за неделю. 😂
Хотя, конечно, все может быть. Но если чувак так страшно шифруется при таком трафике, он либо что-то украл, либо торгует наркотой, либо папа ему запретил трындеть много.
Ну и никто не спорит, что за 4 штуки зелени в месяц можно еще и не такой трафик нагнать, но при чем тут понты о контенте?
Ага. Буржуи сидят, тренды вычисляют по циферкам, ниши ищут. А тут такой Ваня из Москвы с самоваром под мышкой приходит и всех "попячивает".
😂 😂 😂
Как раз-то наоборот: Гугл сам решает кому сегодня быть "первоисточником". Это даже подтверждают многочисленные топики, открываемые здесь по поводу: "контент украли, а мой сайт в опе!".
А самое страшное то, что у Гугла сегодня полная монополия на интернет. Т.е. он сам решает будет какой-то сайт жить или нет. Конечно, с оговоркой, что стартапы с бюджетами от десятков тысяч баксов могут себе позволить "купить" аудиторию.
Ты суслика видишь? Нет? А он есть!
Да хватит уже трындеть. Сказочник.
Для начала любой ip-geo модуль поможет.
Какой алгоритм сможет заявить, что "Волшебник Изумрудного города" есть рерайт книги "Удивительный волшебник из страны Оз"?
Если такой алгоритм появится у Гугла, то в интернете останется каких-нибудь 100 ... 500 сайтов. Все остальные - дубликаты!
P.S. Производители "говноконтента" могут спать спокойно.
Только платный индекс спасет отца поисковой демократии.
:)
Я уже вообще начинаю подумывать, чтобы Индию на сайтах отключить, как отключены Нигерия, Камерун и прочие "столпы" интернета.
