Сколько готовы денег отдать за проверку 1К ссылок?
На сайте программы CheckParams появилась автоматическая выдача бесплатных 30-дневных лицензий для новых пользователей.
Так же значительно обновилась сама программа. Появилась возможность добавлять свои кнопки в UI программы, улучшена работа с прокси, теперь программу можно свернуть в трей около часов, исправлены ошибки и очень серьёзно улучшилась поддержка скриптов :)
http://checkparams.com/
Здравствуйте!
Рад сообщить об выходе отдельной бесплатной программы, с помощью которой можно редактировать настройки CheckParams "мышкой".
Программа написана одним из пользователей CheckParams, все вопросы/пожаления/предложения по ней следует задавать непосредственно её автору.
Сайт редактора настроек CheckParams: http://configurator.seclab.com.ua/
Я прекрасно понимаю, что это не выход из ситуации и что сменить айпи очень легко, про прокси вообще молчу :) Я просто глянул логи десятка сайтов на 4 серверах. Под своим юзер-агентом в прошлом году они ходили с айпи 85.17.82.87, в этом году с айпи 95.211.81.86
Бот зашёл на www.site.ru под своим UA, потом он же зашёл без UA на корневую страницу у домена с www и без www, а после бот уже начал обходить все страницы сайта
www.site.ru 95.211.81.86 0.302 - - [15/Apr/2011:22:30:55 +0300] "GET / HTTP/1.1" 200 27499 "-" "SolomonoBot/1.02 (http://www.solomono.ru)" site.ru 95.211.81.86 0.293 - - [15/Apr/2011:22:30:56 +0300] "GET / HTTP/1.1" 200 27491 "-" "-" www.site.ru 95.211.81.86 0.022 - - [15/Apr/2011:22:30:56 +0300] "GET / HTTP/1.1" 200 27499 "-" "-" site.ru 95.211.81.86 0.254 - - [15/Apr/2011:22:30:56 +0300] "GET /page HTTP/1.1" 200 7028 "-" "SolomonoBot/1.02 (http://www.solomono.ru)"
К сожалению, это не хостер, а именно их бот с юзер-агентом "SolomonoBot/1.02 (http://www.solomono.ru)", притом бот robots.txt даже и не скачивает, т.е. никакой речи о цивилизованном бане даже и не может идти. Зато бот умудряется зайти как с юзер-агентом, так и без него. Видимо, проверяет бан так :)
Solomono, прочитал топик. Вам задавали вопросы по поводу запрета индексации, Вы как-то вполне успешно их игнорируете.
Сегодня забанил в фаерволлах бота с айпишкой, 95.211.81.86, прикидывающегося solomono. Есть ли способ цивилизованно отключить индексацию через robots.txt?
Программа чуть-чуть обновилась:
* появилась возможность делить прокси на равные части, чтобы разные (не пересекающиеся) списки использовать в разных местах
* добавлена поддержка замены макросов программы через скрипты (функция ReplaceMacroses).
* прокси из списка good при перепроверке теперь помещаются в начало списка source, а не в его конец, что увеличивает скорость перепроверки.
* добавлен вызов функции OnLoadUrl() из скриптов, позволяющий считывать ссылки для проверки из файлов произвольного формата, баз данных и так далее.
* добавлена возможность отключения записи заголовка csv-файла с именами полей (параметр write_header, используется для записи файлов результатов в собственном формате, например, XML).
* изменено поведение программы при закрытии со включенным режимом start_before_engine, теперь интерфейс программы не "подвисает" при выходе.
* изменено поведение программы при бане прокси, теперь забаненный прокси сразу блокируется без ожидания нескольких банов подряд
* добавлена возможность удалять прокси, которые были рабочими некоторое время без их последующей перепроверки (параметр delete_alive)
* добавлена новая статистика (расход памяти, handles, скорость проверки)
* добавлена возможность использовать компоненты ActiveX в скриптах (функция CreateActiveX)
Скачать обновлённую программу можно по этой ссылке: http://checkparams.com/download
Появился человек, занимающийся скриптами для CheckParams.
В настоящее время с помощью скриптов в программе реализован следующий функционал:
* Парсинг url из поисковой выдачи Google по заданному списку слов (в том числе inurl:, site: и т.д.). Парсинг является многопоточным, всецело использует возможности CheckParams, и гарантирует полное получение данных из поисковой системы (каждый запрос выполняется вплоть до получения результата)
* Поиск определенного содержимого на страницах из поисковой выдачи Google и других поисковых систем
* Проверка обратных ссылок (Yahoo) списка доменов на PR, ТиЦ и т.д.
* Автоматизированный сбор списка доменов к проверке из различных источников (SnapNames, NameJet и т.д.)
Следующий функционал может быть реализован с помощью скриптов:
* Проверка обратных ссылок доменов на индексацию в поисковых системах
* Запросы к экзотическим whois, которые не поддерживаются базовым функционалом программы
* Сохранение и чтение результатов проверки из баз данных, xml-файлов и т.д.
* Парсинг форумов, сайтов и т.д.
* Проверка сайтов ucoz, LiveJournal на занятость и другие показатели
* Автоматическое заполнение форм на сайтах
Приведенный перечень скриптовых возможностей программы далеко не полон - с помощью скриптов можно реализовать практически что угодно.
Подробнее про скрипты тут: http://checkparams.com/scripting
А в чём разница с этим топиком?
/ru/forum/619364
Так это же уже есть там, раздел Intelligence, не помню, как по-русски, там это ставить можно
UPD: Раздел Оповещения, там под графиком стрелочку вниз нажимаете и вылезает панелька, где можно оставить комментарий, комментарии отображаются на графике
У меня 30-40% сейчас
