Напишу для вас бесплатно Консольную программу.

Их можно обрабатывать в потоке, вестимо. Конечно, нет смысла писать программу для просмотра информации по 5 доменам, это можно сделать через веб. А вот вести базу, делать выборки, применять их результаты к другим данным — это интересно и полезно. Мне, например, хотелось бы прочекать свой каталог ссылок, который в своём собственном формате.

а яснее можете выразиться? зачем вести свою базу когда соломно и есть та база - зачем его к себе выкачивать? Зачем делать свой каталог в своем формате? тоже как-то странно - загнать в мускул и не париться или оставить в экселе и аксесе - свой формат чудно как-то...

так и не убедили - по моему бестолковое бесполезное ТЗ

ну ну если есть время заниматься абсолютно бесполезным делом у топик стартера то оно конечно почему бы нет!

Ну и выбор языка для работы с вебом конечно супер :) ну хотя бы питон а то си

ну ладно больше не буду вас парить - удаляюсь.

Вы меня извините, но вопрос глупый. Вот к примеру взять меня, мне бы данная прога помогла бы в отборе доноров для формирования своего вайт-листа. Допустим я в сапе своим фильтром получил список потенциальных площадок и чтобы не чекать их всех винком и не тратить время и трафик. Я беру список доменов, закидываю на сервер где стоит эта прога и запускаю анализ. О преимуществах 100 Мегабитного канала, вам, я думаю смысла рассказывать нет.

100мб интернет дома сейчас стоит примерно как впс а в Украине что недавно обсуждалось со скринами спидтест даже в небольших городах повсеместно и за какие-то копейки порядка 10-20 баксов/ сам был потрясен но скрины спидтеста от многих людей подтверждают что это реальность/

На счет анализа - вроде в ТЗ не было никакого анализа - получите просто raw длинный список бэков и что вы с ним делать будете?

Ну тут все просто, дальше я загружаю этот список прочеканных площадок в эксель и фильтрую их, отсекая весь шлак и выбирая только площадки с наличием достаточного количества беклинков и трафика. Ну а далее их загружаю в избранное сапы и радуюсь жизни.

по моему пустая трата времени - кол-во и качество бэков это тиц и он в сапе указан как и кол-во страниц в яндексе. Имхо большой тиц + много стр в яндексе (нет АГС) этого за глаза достаточно. (ну а еще кол-во исходящих в сапе есть) - короче сапа мощный инструмент и вот так на коленке в десяток строк кода сделать что-то лучше просто нереально/

Смысл разжёвывать человеку, изначально решившему не воспринимать доводов?

Я использую базовые библиотеки, но не знаю по поводу кроссплатформенности.

По идеи Си на линуксе работает без проблем. Библиотеку нужны будут libcurl, regex.h, openSLL.

Да, и ещё, домены будут браться из txt а выводиться в xml(Просто сейчас с этой библиотекой разбираюсь, маленький затык).

Сайт-билдер, вот, надо сделать, чтобы компилировалось в других системах, если распространять исходниками, либо поставлять готовый бинарник.

Соответственно, требование, чтобы можно было выстроить это приложение в пайп с остальными юникс утилитами (наверное, это использование стандартных функций ввода-вывода, лишь предположение, сам под *nix писать-компилировать не пробовал, надо уточнять). И, кстати, у меня FreeBSD, хотелось бы, чтобы пускалось без линуксатора.

Наверное, многие сталкиваются с необходимостью оптимизации сниппетов. Собирать их руками долго и неудобно, поэтому программа умеющая это делать была бы очень полезной.

Как я это вижу:

snippetparser --site site.ru --key keywords.txt --se yandex_ru_mos --delay min max

Где site - адрес анализируемого сайта

key - список ключевых фраз

se - шаблон поисковой системы (берется из файла)

delay - минимальная и максимальная задержка между запросами

Пример файла шаблонов ПС:

yandex_ru_mos http://www.yandex.ru/yandsearch?text=%%Value%%&lr=1

На выходе keyword, snippet(b-serp-item__text в Яндексе)

P.S. Искал софт с подобным функционалом, не нашел ничего, кроме семонитора, в котором этот модуль кривой