Всем спасибо за ответы, взял vps по рекомендациям из топика.
В новой версии (1.412) дефолтный список уменьшен до ~260 доменов.
Помимо этого в новой версии заметно ускорен запуск, убрана проверка интернета и необходимость регулярно обновлять программу.
Скачать новую версию можно по адресу http://checkparams.com/ru/download
Здравствуйте, очень извиняемся, что гугл и яндекс забанили вашу IP за массовую проверку параметров ссылок без использования прокси. Мы (разработчики) с большим списком доменов (причём, в текстовом файле) хотели как лучше, а получилось как всегда. Дело в том, что дефолтный конфиг был сделан таким образом, чтобы после запуска программы сразу можно было оценить качество и скорость работы программы без лишней настройки со стороны пользователя. И, если всё нравится, то дальше (по задумке разрабочиков) можно было бы тюнить настройки и подставлять в domains.txt свои ссылки. Мы недостаточно хорошо описали этот момент в первых строчках readme.txt и не выделили его большими буквами, но постараемся исправиться. Спасибо за указание на недостатки в нашей работе, Ваше мнение очень важно для нас.
Вот и у меня много из Москвы, в т.ч. и корбина есть, но иногда встречается и amazon aws, притом с одной айпи с разницей в 1-3 часа может заходить разный "браузер". Траффик "десктопный".
В принципе, с учётом того, что заходят не только на главную, причастность к этому делу яндекса можно было бы легко проверить, скормив яше "особенные" странички, на которые нет прямых ссылок с сайта и которые не будут видны посетителям, а потом посмотреть ходят ли туда эти боты. Но есть вероятность, что он туда не пойдёт без внешних ссылок, чтобы не палиться :)
Написал платонам по этому поводу, постарался как можно более детально описать ситуацию, в т.ч. указал то, что имеются переходы по некоторым страницам, которые уже знает яндекс, но которые еще не в индексе, т.к. он их буквально недавно впервые скачал.
Они говорят, что "Мы также затрудняемся ответить, кто и зачем переходит на Ваш сайт подобным образом.".
Исключительно косвенные наблюдения за некоторыми доменами и количеством ссылок на них, не более того. Никаких "документальных" подтверждений или опровержений у меня не было.
Теперь я тоже склоняюсь к этой мысли, но опять же доказательств у меня нет.
В надежде что-нибудь понять по этому поводу, я собрал домены .ru, .su, .рф, проверил у них тиц, выделил те, у которых тиц > 10 и потом проверил параметры тех доменов, которые не зеркала по бару, в solomono.
Два файлика (домены с присвоенной тематикой по бару и без неё) можно взять тут: http://domains.checkparams.com/tcy-solomono.rar
По ним можно, например, в экселе построить графики влияния общего количества ссылок на тиц, распределение тиц, среднее количество входящих ссылок для каждого значения тиц и так далее.
Может быть кому-то будет это интересно.
А разве тиц линейно зависит от количества уникальных, но одинаковых по качеству ссылок?
Почти аналогичная ситуация, на разные сайты заходят с разной периодичностью, везде идёт или ключ, по которому на первых 5-10 страницах в серпе вообще нет или домен, регион везде Москва (lr=213), айпишки разные московские. Еще заметил, что никогда нет номера страницы в реферере, как будто всегда на первой странице "нашёлся" запрос.
Притом, заходят даже на полумёртвые сайты без траффика и входящих ссылок на сами сайты.
Скачивают всегда только одну хтмл-страницу + все картинки, цсс, скрипты и прочее, переходов по другим страницам никогда не видел.
Это, случайно, не проверка на вирусы/клоакинг/прочие нехорошие дела?
Появился API для массовых программных проверок истории. Данные выдаются в форматах XML и JSON (на выбор), на один HTTP-запрос выдаётся сразу вся доступная информация по адресу.
Для бесплатного бета-теста просьба написать в ЛС, я отправлю информацию по API.
Будет API для программных проверок. Я написал про это в первом сообщении. Т.е. по ссылке вида, к примеру, domains.checkparams.com/api?domain=domain.com можно будет получить информацию в легко парсящемся виде (JSON, XML, plain text и т.д.). Если есть какие-то конкретные пожелания - рассказывайте, примем во внимание.
Может быть дойдут руки до тулбара, но это всё будет зависеть от спроса.
