[linux] скрипт для сбора информации о домене/ip

# USAGE:
#bash hto.sh домен
# или:
#bash hto.sh ip.add.re.ss
# если сделать алиас (см.выше), то можно писать:
#этхтоваще домен
# или:
#этхтоваще ip.add.re.ss
# вместо "домен" написать нужный домен, и вместо "ip.add.re.ss" - нужный IP-адрес

Изучайте функцию getopts. Комментарии в коде не для пользователя существуют, а для программиста, который правит. Остальное через флаги выводится (или отсутствие флагов). Пользователю тяжело читать что-то в консоли. Как правило он не умеет.

if [ "$flag" = "1" ];
	then echo "exit"; exit;
fi
#---> проверка введенных данных
if [ "$1" = "" ];
	then echo "введи домен или ip! //опции: -v, -u, -h, -p, -y";
	exit;
fi

Все тот же getopts. Вообще половину скрипта можно выкинуть и заменить на десяток строчек getopts. При этом скрипт будет более читабельным и очевидным. Потому что я с трудом смог понять, что в нем делается.

К тому же очень много копипаст по коду. Чтобы не было копипаст,нужно один раз написать функцию, а потом ее дергать.

#--- СБОР IP
		echo "" > /tmp/ip1.txt && chmod 666 /tmp/ip1.txt
		echo "-> получаю IP с NS...";
		for i in `cat /tmp/ns.txt`; 
		do
#---> $1 - домен, $i - NS из того временного файла
		 ip=`host -t A $1 $i | grep -v "has\ no" | awk '{print $4}' | sed '/^ *$/d'`;
		 if [ "$ip" = "" ];
			 then echo "с $i нет нифига";
#---> пишем IP-ы во временный файл, сортируем его, ниже выводим список IP-ов
			 else echo $ip | sed 's/\ /\n/g' >> /tmp/ip1.txt
		 fi
		done

Изучайте массивы. Не хранят такое в файлах.

if [ "$i" = "67.215.66.132" ]; then

Хардкод. Такие вещи выносятся в начало скрипта в отдельную переменную.

echo "A нет нифига, походу домен невалидный";
...
rez=`nc -vw 1 -z $1 $port 2>&1 | egrep -vi '(timed.out|refused|in.progress)'`; #ёбаный дебиан!

Вот такое неуважение к собственному коду (псевдокураж над собственным кодом) бывает исключительно в мире похапэшников. Вы не на PHP пишете, потому нет смысла выключать официоз.

=========

P.S.: пример как использовать функции и массивы. Примеры. что были под рукой, не адаптированные под Вашу задачу. но показательные.

Кусочек apache2ctl, который проверяет ИСП на предмет уродования конфига, прежде чем рестартануть его). Весь код пишется один раз:

restore_config() {
    cp $APACHE2CONF'.backup' $APACHE2CONF
    exit 0;
}

extended_apache_configtest() {

APACHE2CONF="/etc/apache2/apache2.conf"

   if ! $HTTPD ${APACHE_ARGUMENTS} -t > /dev/null 2>&1; then
        $HTTPD ${APACHE_ARGUMENTS} -t || true
        restore_config
   fi

   if grep "^Listen" $APACHE2CONF /dev/null 2>&1; then
        restore_config
   fi

   cp $APACHE2CONF $APACHE2CONF'.backup'

}

case $ARGV in
start)
    mkdir -p ${APACHE_RUN_DIR:-/var/run/apache2}
    install -d -o ${APACHE_RUN_USER:-www-data} ${APACHE_LOCK_DIR:-/var/lock/apache2}
    # ssl_scache shouldn't be here if we're just starting up.
    # (this is bad if there are several apache2 instances running)
    rm -f ${APACHE_RUN_DIR:-/var/run/apache2}/*ssl_scache*
    $HTTPD ${APACHE_ARGUMENTS} -k $ARGV
    extended_apache_configtest
    ERROR=$?
    ;;
stop|graceful-stop)
    $HTTPD ${APACHE_ARGUMENTS} -k $ARGV
    ERROR=$?
    ;;
restart|graceful)
    extended_apache_configtest
    if $HTTPD ${APACHE_ARGUMENTS} -t 2> /dev/null ; then
        $HTTPD ${APACHE_ARGUMENTS} -k $ARGV
    else
        $HTTPD ${APACHE_ARGUMENTS} -t
    fi
    ERROR=$?
    ;;

Пример как использовать массивы:

       declare -a database_list
        for DATABASE in `mysql  -uroot -p$PASSWORD mysql -N --execute=\"show databases;\"`
        do
                database_list[db++]=$DATABASE;
        done

ну и собрав массив вот так использовать:

for database_item in ${database_list[@]}; \
do mysqldump ...  $database_item ... > ...
done

Пример использования getopts:

E_BADARGS=65

PrintHelpAndExit() {
        echo
        echo "Порядок использования:";echo
	echo "$0 [-a] -s hostN -b backupN";echo
        echo "Где hostN - имя хост-машины (Dom0), а backupN - имя бэкап-сервера"
	echo "или вместо hostN, serverN/IP-address, в случае бэкапа одного пользователя"; echo
	echo "Флаги:"
	echo "-s -- Имя целевого сервера"
	echo "-b -- Имя бэкап-сервера"
	echo "-t -- Тестовый запуск при подключении нового сервера"
        echo "-u -- User_ID удаляемого пользователя"
	echo "-a -- Бэкап всех серверов включая служебные" 
	echo "      (проигнорируется при использовании флага "-u")";
	echo "      (по умолчанию бэкапится только сервер,"
	echo "       на котором находятся пользовательские данные)";
        echo "-h -- Просмотр этой справки"; echo
        exit $E_BADARGS;
}


# Exemining options from command line
while getopts "s:b:u:aht" optionName; do
case "$optionName" in
	a) ALL_SERVERS=YES;;
	s) HOST=$OPTARG;;
	b) BACKUP_SERVER=$OPTARG;;
	u) USER_TO_DELETE=$OPTARG;; 
	t) DRY_RUN=YES;;
	h) PrintHelpAndExit 0;;
	\?) PrintHelpAndExit 0;;
	*) PrintHelpAndExit $E_BADARGS;;
esac
done

> Изучайте функцию getopts

спасибо, покурю!

> нужно один раз написать функцию, а потом ее дергать.

старался по-максимуму, см hto_func

> Изучайте массивы. Не хранят такое в файлах.

чем плохо использование файла?

> Такие вещи выносятся в начало скрипта в отдельную переменную.

ок, вынесу.

=======

спасибо за примеры, перепишу скрипт :)

jahost добавил 05.10.2010 в 04:55

bugsmoran, как в целом впечатление - хорошее дело делаю, или глупость затеял?

Просто это другой культурный уровень. В данном случае малозначительно. Сейчас это по сути ничем не вредит. Но завтра напишите чуть более крупный скрипт по привычке через файл и сделаете нагрузку на диск и к тому же понизите надежность работы скрипта, потому что диск отваливается чаще памяти, да и очереди к нему выше, что задержит выполнение работы скрипта (а если там будет по крону, то еще и наложит друг на друга).

Короче привыкайте делать изначально качественно, даже если качество не требуется. Привычка - самое главное.

Незачто. Я там дополнил немного.

Не знаю :) Данные полчаете сомнительной ценности. Но может кому и пригодится. Вообще я бы быстрее руками посмотрел, что мне надо. На вкус и цвет...

наверное, стоит каждую функцию вынести как опцию.

> Вообще я бы быстрее руками посмотрел, что мне надо.

грабить sitedossier и bing руками неудобно :)

> Данные полчаете сомнительной ценности.

зато повышение навыка написания скриптов

А их и не надо грабить. Утилиты whois, telnet и dig способны вытащить помоему всю возможную информацию. И вообще одного telnet на все достаточно.

Много лишней информации от скрипта, должен выдавать только при наличии информации и в конце список того, что не обнаружено, юзабилити нулевой конечно.

bugsmoran, приведите, пожалуйста, пример, как телнетом узнать список (почти)всех доменов на одном IP-адресе

ENELIS, в планах убрать вопросы и сразу выводить всю найденную информацию

А, это да, это не узнать телнетом. Но это совершенно ненужное знание ведь. А то что нужно можно узнать телнетом.

но это довольно муторно, проще какой-нибудь host -t ANY $domain_name $ns_name :)

цикл с вопросом вынес в функции, основной скрипт стал намного короче. докурю getopts и сделаю "нормальное" меню, и выложу обновление.

Если вас интересует процесс, то я легко вам его изложу, берете, генерируете все возможное кол-во доменов в одну базу, а следом начинаете в цикле подключаться на 80й порт сервера телнетом и путем GET пробуете получить правильный ответ... В принципе не сложно, но надо будет очень долго ждать, такой информации нельзя получить в принципе с точки зрения внешних соединений, я не говорю о моменте когда сломали сервер и получили вообще везде доступ....

Так или иначе любая информация которую вы видите в виде "сколько сайтов на IP" складывается на уровне анализа появления доменов в тех или иных базах (при регистрации, при всевозможном SEO, поисковые боты..), и в процессе штатных запросов тех же поисковых ботов, они просто запоминают на ком IP был сайт.... а дальше это спокойно можно анализировать..... и показывать в виде "сколько на конкретном IP сайтов есть в системе".

Но получить "достоверную информацию на сейчас" не выйдет без взлома системы.