CheckParams - /ru/forum/511667
Можно и 100 миллионов проверить.
Парсит ли кто-нибудь подсказки гугла программой? Если не ей, то парсят ли другим софтом, чем? Какие объёмы? Скорость? Есть некоторые идеи по поводу подсказок, хотелось бы выяснить, насколько это актуально вообще.
http://www.hetzner-status.de/en.html
1200 серверов ребутнулось, но судя по моим двум - явно не все :)
Научите различать эти понятия? Попробую поправить сервис, если это будет возможно.
Смотрите через domains.checkparams.com, там по всем доменам из первого поста топика история с ноября прошлого года, у всех доменов, кроме одного был тиц 0 до повторной регистрации.
Спамный тиц под продажу не очень опытным товарищам "без гарантий"?
UPD: там же по истории айпи этих доменов можно найти остальные домены из пачки реганных первый раз и глянуть их историю изменения тиц.
Усложнить жизнь могут, а вот прикрыть - нет, потому как ничего особенного там не используется, это просто правильно написанный софт. Разве что сам сервис определения PR закрыть.
Попробуйте, если есть нормальный сервер с виндой или хотя бы обычный компьютер с хорошим и прямым интернетом, софт бесплатный: http://checkparams.com/ru/cp2litepr
Ну вот как-то так: http://youtu.be/U6nLR6JVviY
CheckParams попробуйте, бесплатный софт, проверка и напрямую и через прокси. Как раз можно дропы проверять на пр. Так же есть cp2litepr, работает без прокси, но за минуту успевает проверить несколько миллионов ссылок.
<headers><![CDATA[GET /search?hl=en&q=site%3A#$e$UrlServer$e$# HTTP/1.1
Наверное, как-то так:
<headers><![CDATA[GET /search?hl=en&q=site%3A#$e$UrlServer$e$#/& HTTP/1.1
Еще в том же nginx можно попробовать настроить модуль ngx_http_limit_req_module, с его помощью можно ограничивать кол-во запросов в секунду и или резать соединения или задерживать их. С помощью параметра burst можно настроить nginx так, чтобы он пропускал первый всплеск запросов, когда настоящий юзер заходит на сайт и качает остальные скрипты/цсс/картинки.