Очень массовый сбор ссылок по яху :)

Потестил. Впечатления?...

Работает быстро. Использование tsv для скорости весьма поддерживаю, любая прога работающая в этой области ИМХО должна опционально уметь это делать, т.е. хочу парсю полную выдачу более 1000 линков (медленно), хочу только tsv (быстро). Использование прокси и многопоточность – это тоже хорошо.

Только на кой все это? На выходе получаем кучу несортированных линков, которые идут без всяких дополнительных параметров (хотя бы тИЦ и PR). Хватило бы всего по одному линку с каждого домена. Кодировка в линках могла бы быть приведена к нормальному виду, чтобы не делать это другими способами. Прокси оказываются при таком подходе также совсем не нужными, за 50 конкурентов меня никто даже не думал банить, да и прога без прокси работает куда быстрее.

ИМХО, конечно, но в настоящий момент представленная прога – это мусор.

Софтину ещё не смотрел но описание прочитал.

А что, через прокси разные результаты? Или как возможно получить больше 1к беков?

Ну это кому как. А если надо - это делается легко в другом софте (хоть тот же Эксель). Хотя конечно иметь такую опцию сразу - это есть гуд :)

Такие ИМХи лучше не писать. Если Вам не надо (не устраивает) - это ещё не значит что это мусор. Если что не так\не устраивает - внесите конструктивное предложение.

Извиняюсь, если кого обидел, но, по-моему, конструктивных предложений я высказал достаточно.

Что в настоящий момент представляет из себя прога? Прога умеет формировать динамический УРЛ для скачивания tsv-файла, за что автору респект, причем, могу сказать, что я в первый раз вижу прогу, которая действительно этим пользуется. В данном файле 4 столбца, прога умеет выбросить 1, 3 и 4 столбцы и оставить только второй. Прога умеет объединять множество текстовых файлов в один файл. И все. Больше ничего она не умеет. Многопоточность и прокси, могут лишь слегка ускорить работу проги. Что получаю на выходе: файл с горой непонятных ссылок.

Если то же самое я бы делал вручную, не используя прогу. Захожу через FireFox с SeoQuake в SiteExplorer. Для того, чтобы сформировать динамический линк для скачивания tsv-файла, выбираю последовательно Inlinks, Except from this domain и Entire Site. Получаю tsv-файл. Да, прога это делает практически моментально, но зато я при ручной работе могу хотя бы вскользь взглянуть на первую сотню выдачи, ведь зачастую (хотя и не факт), жирные линки сидят в первой сотне.

Можно потом скормить данный файл какому-нибудь сервису для определения параметров, полученных ссылок, но мое конструктивное предложение как раз и состоит в том, чтобы встроить подобное определение в саму прогу.

Прокси используется лишь для того, чтобы не забанили за частое обращение к сервису, выдача абсолютно одинаковая. Даже теоретически в tsv невозможно получить больше 1000 беков. Т.е. вся та же выдача, что и в SiteExplorer, только не надо смотреть все 10 страниц выдачи, а получается быстро и удобно для хранения лишь 1 файл.

ЗЫ. Да, забыл сразу написать. Если прогу довести до ума, вот как раз там и понадобятся и прокси, и многопоточность.

Ни разу не видел бана от yahoo за сбор беков.

есть такое. Если больше 1к запросов (или около того) быстро делать. Но бан относительно короткий - мин 10-15 вроде.

На полчаса банит, при жестком использовании. Парсил Агрессом.

Как раз искал такую штуковину, а тут как раз вы 😂

Спасибо Вам 🍻