CheckParams - массовая проверка параметров доменов и ссылок

Любой каприз за Ваше спасибо :)

			<solomono module_name="Solomono" enabled="1" check_interval="0" retries="10" use_proxies="0" results_mode="2" download_size="999999">

				<request>

					<server address="xml.solomono.ru" port="80"/>

					<headers><![CDATA[GET /?url=#$r$UrlProtocol$r$#%3A%2F%2F#$e$UrlServer$e$##$e$UrlPortDefault$e$# HTTP/1.1

Host: xml.solomono.ru

Accept-Encoding: gzip, deflate

Connection: close



]]></headers>

					<checks>

						<check result="good" present="1" icase="1" type="string"><![CDATA[</data>]]></check>

						<check result="parse" type="*"/>

					</checks>

				</request>

				<results>

					<regexps>

						<regexp name="%host%" icase="1" format="$1" default=""><![CDATA[<host>(.*?)<\/host>]]></regexp>

						<regexp name="%index%" icase="1" format="$1" default=""><![CDATA[<index.*?>(.*?)<\/index>]]></regexp>

						<regexp name="%index_date%" icase="1" format="$1" default=""><![CDATA[<index.*?date="(.*?)"]]></regexp>

						<regexp name="%mr%" icase="1" format="$1" default=""><![CDATA[<mr>(.*?)<\/mr>]]></regexp>

						<regexp name="%ip%" icase="1" format="$1" default=""><![CDATA[<ip>(.*?)<\/ip>]]></regexp>						

						<regexp name="%hin%" icase="1" format="$1" default=""><![CDATA[<hin.*?>(.*?)<\/hin>]]></regexp>

						<regexp name="%hin1%" icase="1" format="$1" default=""><![CDATA[<hin.*?l1="(.*?)"]]></regexp>

						<regexp name="%hin2%" icase="1" format="$1" default=""><![CDATA[<hin.*?l2="(.*?)"]]></regexp>

						<regexp name="%hin3%" icase="1" format="$1" default=""><![CDATA[<hin.*?l3="(.*?)"]]></regexp>

						<regexp name="%hin4%" icase="1" format="$1" default=""><![CDATA[<hin.*?l4="(.*?)"]]></regexp>

						<regexp name="%din%" icase="1" format="$1" default=""><![CDATA[<din.*?>(.*?)<\/din>]]></regexp>

						<regexp name="%din1%" icase="1" format="$1" default=""><![CDATA[<din.*?l1="(.*?)"]]></regexp>

						<regexp name="%din2%" icase="1" format="$1" default=""><![CDATA[<din.*?l2="(.*?)"]]></regexp>

						<regexp name="%din3%" icase="1" format="$1" default=""><![CDATA[<din.*?l3="(.*?)"]]></regexp>

						<regexp name="%din4%" icase="1" format="$1" default=""><![CDATA[<din.*?l4="(.*?)"]]></regexp>

						<regexp name="%hout%" icase="1" format="$1" default=""><![CDATA[<hout.*?>(.*?)<\/hout>]]></regexp>

						<regexp name="%hout1%" icase="1" format="$1" default=""><![CDATA[<hout.*?l1="(.*?)"]]></regexp>

						<regexp name="%hout2%" icase="1" format="$1" default=""><![CDATA[<hout.*?l2="(.*?)"]]></regexp>

						<regexp name="%hout3%" icase="1" format="$1" default=""><![CDATA[<hout.*?l3="(.*?)"]]></regexp>

						<regexp name="%hout4%" icase="1" format="$1" default=""><![CDATA[<hout.*?l4="(.*?)"]]></regexp>

						<regexp name="%dout%" icase="1" format="$1" default=""><![CDATA[<dout>(.*?)<\/dout>]]></regexp>

						<regexp name="%anchors%" icase="1" format="$1" default=""><![CDATA[<anchors>(.*?)<\/anchors>]]></regexp>

						<regexp name="%anchors_out%" icase="1" format="$1" default=""><![CDATA[<anchors_out>(.*?)<\/anchors_out>]]></regexp>

						<regexp name="%igood1%" icase="1" format="$1" default=""><![CDATA[<igood>(\d+)\/]]></regexp>

						<regexp name="%igood2%" icase="1" format="$1" default=""><![CDATA[<igood>\d+\/(\d+)<]]></regexp>

					</regexps>

					<fields delimiter_replace="\;">

						<field title="host" format="plain">%host%</field>

						<field title="index" format="plain">%index%</field>

						<field title="index_date" format="plain">%index_date%</field>

						<field title="mr" format="plain">%mr%</field>

						<field title="ip" format="plain">%ip%</field>

						<field title="hin" format="plain">%hin%</field>

						<field title="hin1" format="plain">%hin1%</field>

						<field title="hin2" format="plain">%hin2%</field>

						<field title="hin3" format="plain">%hin3%</field>

						<field title="hin4" format="plain">%hin4%</field>

						<field title="din" format="plain">%din%</field>

						<field title="din1" format="plain">%din1%</field>

						<field title="din2" format="plain">%din2%</field>

						<field title="din3" format="plain">%din3%</field>

						<field title="din4" format="plain">%din4%</field>

						<field title="hout" format="plain">%hout%</field>

						<field title="hout1" format="plain">%hout1%</field>

						<field title="hout2" format="plain">%hout2%</field>

						<field title="hout3" format="plain">%hout3%</field>

						<field title="hout4" format="plain">%hout4%</field>

						<field title="dout" format="plain">%dout%</field>

						<field title="anchors" format="plain">%anchors%</field>

						<field title="anchors_out" format="plain">%anchors_out%</field>

						<field title="igood1" format="plain">%igood1%</field>

						<field title="igood1" format="plain">%igood1%</field>

					</fields>

				</results>

			</solomono>

Расставить правильные названия столбцов в field title="" ентузизьма не хватило, но, думаю, так даже понятнее для тех, кому важна эта информация.

Да, конечно, если есть хотя бы минимальные знания регулярок, то по аналогии можете настроить выборку остальных полей, чтобы все данные выбирались одним модулем. В теге regexp задаётся регулярка, с помощью которой собираются данные, а в теге field эти данные выводятся в столбцы таблицы csv. Примеров выборки данных из XML довольно много как в самом файле конфигурации программы, так и в этом посте немного выше.

Скрытый ЯК можно код, за зарание спасибо)

Каким запросом проверятеся скрытый ЯК?

пользовался чекером для своих целей,за такую низкую стоимость очень полезный продукт

Оказалось таким же как и не скрытый 😒

Общий индекс гугла site:www.сайт.ру

Основной индекс гугла site:www.сайт.ру/&

куда "/&" в коде вставить ни как не разберусь.

вроде эта часть кода проверяет

<headers><![CDATA[GET /search?hl=en&q=site%3A#$e$UrlServer$e$# HTTP/1.1

на что ее заменит чтобы запросы были с окончанием /&

<headers><![CDATA[GET /search?hl=en&q=site%3A#$e$UrlServer$e$# HTTP/1.1

Наверное, как-то так:

<headers><![CDATA[GET /search?hl=en&q=site%3A#$e$UrlServer$e$#/& HTTP/1.1

Похоже неплохая программа для массовой чекалки всякого. Сейчас пощупаю, если понравится кулю лицензию :)

Парсит ли кто-нибудь подсказки гугла программой? Если не ей, то парсят ли другим софтом, чем? Какие объёмы? Скорость? Есть некоторые идеи по поводу подсказок, хотелось бы выяснить, насколько это актуально вообще.

Возник вопрос, как подключить модуль (HTML Title)

Плюс: на форуме не работает регистрация.

---------- Добавлено 30.11.2012 в 20:11 ----------

Возник вопрос, как подключить модуль (HTML Title)

Плюс: на форуме не работает регистрация.

Добрый день, для подключения модуля надо просто добавить его код в файл конфигурации. Для этого нужно открыть на редактирование файл checkparams.xml, найти там тег <params>, внутри которого будут модули и добавить туда (в любое место на том же уровне, что и другие модули) код нового модуля.

Насчёт регистрации - да, почему-то сломалась ссылка на регистрацию phpbb в Google Chrome, в Firefox и IE - работает. Я посмотрю в чём проблема, спасибо.