Subudayj

Subudayj
Рейтинг
67
Регистрация
24.06.2008
architektor:
Домены вида www.domain.edu.ru не выдирает :-(
В логе:

2011-10-04 10:33:24.438;RTP: ScriptEngine: return value 1 from main:OnReqAfterWaListDataReceived function


Если, конечно, это имеет отношение к проблеме.

Проверю в ближайшее время.

Subudayj добавил 04.10.2011 в 18:40

Коллеги, вышла версия 1.02 парсера веб-архива.

Исправлена ошибка при скачивании некоторых сайтов, связанная с ограничением на размер страницы, который был установлен равным 3м мегабайтам. Текущее ограничение - 10 мегабайт.

Скачать новую версию можно здесь.

Для обновления текущей версии 1.01 достаточно заменить файл script-wa-grabber.js в папке scripts на файл из архива.

P.S. В ближайшее время планирую добавить функционал хранения страниц с помощью ModRewrite и скрипта на PHP, что позволит сохранять на жесткий диск копии любых динамических сайтов.

Друзья, для CheckParams вышла первая версия парсера веб-архива (web.archive.org). Подробности - здесь.

Коллеги, хочу представить вашему вниманию первую версию парсера веб-архива (web.archive.org) - бесплатного модуля для CheckParams.

Для успешной работы модуля необходимо выполнить следующие действия:

  • Разархивировать модуль в папку с программой CheckParams
  • Убедиться, что версия CheckParams не ниже 1.267
  • При необходимости скачать новую версию CheckParams (http://checkparams.com/ru/download). Для обновления достаточно заменить файл CheckParams.exe на новую версию
  • Запустить парсер через файл run-wa-grabber.bat
  • После запуска программы нажать на кнопку Settings для настройки параметров проверки
  • В настройках на вкладке Main необходимо:
  • В настройках на вкладке Proxy необходимо прописать используемые прокси (если выбрана проверка через прокси):
  • b. Вставить ссылку на веб-страницу со списком прокси (например, http://proxy.com
  • Сохранить настройки, нажав на кнопку Save & Close
  • Запустить парсинг нажатием на кнопку Start:
  • Копии сайтов из веб-архива сохраняются по папкам согласно году их парсинга, то есть результаты будут сохранены в папки вида: domain1.com/2004, domain1.com/2005 и т.д.

Парсер можно скачать здесь.

P.S. Друзья, любые ваши замечания и пожелания приветствуются, это всего лишь первая версия :)

Kost Troll:
В какой стадии работа ?
можете чем-то похвастаться ?

На неделе планирую выложить релиз.

nipler:
Планируется. Версия 3.0, которая сейчас активно тестируется будет не только сохранять сортировку, но и иметь разбиение по страницам (при большом количестве сайтов), а так же фильтр, для быстрого поиска нужных данных по всей базе. Ждите анонсов!

Ждем. Скажите, а в следующей версии будет исправлено некорректное отображение изменения PR с NA на другое значение? Сейчас при таком изменении у показателя не появляется "зеленая цифра" над значением. Ну и для PR хотелось бы видеть отображение именно N/A, а не 0.

Аддон вбивает в поиск Google заданный набор фраз (могут использоваться как простые ключевики, так и служебные конструкции вида "site:.com", "inurl:index.php" и т.д. ), и записывает ссылки из поисковой выдачи по этим фразам в файл.

Найденные ссылки могут быть использованы в различных областях как "белого", так и "черного" SEO :)

Примеры использования для "белого" SEO:

1. Массовый анализ конкурентов по ключевикам

2. Поиск вебмастеров для обмена ссылками

Друзья, обновился парсер выдачи Google. Подробности - здесь.

Друзья, для CheckParams вышло второе бесплатное дополнение с открытым исходным кодом - парсер поисковой выдачи Google.

По набору входящих запросов (возможна автоматическая генерация из двух файлов) производится парсинг поисковой выдачи Google (100 результатов на страницу, все возможности CheckParams по многопоточности и работе с прокси), и запись результатов (ссылки) в файл.

http://checkparams.com/ru/node/168

Вот поверьте моему опыту :)

Ну как обычно - страхование, финансы, авто.

Со временем раскупят, точные сроки сложно сказать.

Медицину, например, могут чуть ли не в день добавления купить.

Всего: 288