Обновление.
Скачать новую версию. 3 отчёта вирустотала на 3 файла из zip архива: раз, два, три.
Много мелких фиксов + дизайн, также добавлена проверка robots.txt. Огланичение: 3 потока.
Примечание: эта версия не имеет апдейтера. О новом обновлении сможете узнать только из форума.
Старая версия по-прежнему доступна. Она работает быстрее, но не чекает robots и имеет некоторые другие недочёты.
В поиске свежих идей (новых функций для программы)
Выделить ячейку Ctrl + C не работает? А также ссылка по двойному клику сама открывается в браузере.
По поводу бана ip при частом обращении к аддурилке: меня забанили только через около 2,5к запросов, но я всё время отправлял неверную капчу (не тратить же деньги на antigate :)), работал в 10 потоков (канал маленький у меня :(). Так что наверное будет быстрее работать через свой ip, а уж в случае бана браться за прокси.
Я очень жду пожеланий, что бы вы хотели видеть в платной версии, и сколько вы бы были готовы за неё отжать (хотелку надо иметь адекватную).
Эх... а откуда же это станет известно, если не известно до сих пор :-)
Я ещё не определился с будущим функционалом, соответственно не определился с ценой. Но определённо скажу, что тем, кто помогал отлавливать баги — скидка будет (от 15% точно, но какая именно — не знаю). Буду рад, если найдёте ошибки в определении nofollow/noindex, или если не находит ссылку, а она есть и т.п. (про неверную кодировку в определении анкора известно. То что бывают пустые строки в таблице результатов — пофикшено в платной версии. Во фри по руки не дошли, там надо переписывать серьёзные куски кода...).
Прошу совета: считать ли ссылкой, если она объявлена как href='url' (именно, что одинарные кавычки, вместо двойных), такое кое-где встречал? Браузер распознаёт её как ссылку, но считают ли её таковой поисковики? Я склонен считать — да.
Необходима ли в данной программе проверка индексируемости? ---------- Добавлено 09.08.2012 в 15:53 ----------
Киньте мне 1,2к урлов ваших, у меня просто только 900 урлов есть :-) Не впустую же гонять тесты... Хотя ладно, пока не надо, лучше найду, где прокси взять, всё равно пригодятся где-нибудь...
Эх, так не хочется тратить на эти тесты wmz :-). За сколько времени (примерно) должно добавиться 1000 урлов?
Получил. Дело в том, что чекается именно тот адрес, что вы указали (без www), а сквозняк у вас с www. Надо указывать именно тот домен, который надо искать. В платной версии добавлена возможность искать одновременно и с www. Адрес можно указывать и http:// и без, главное указать правильный домен (с www или без).
Насколько большую многопоточность? Я только что протестил в 25 потоков 100 урлов аддурилил (заняло 2 минуты, интернет у меня всего лишь 1мбит (100 кб/с), потому быстрее я не могу). Какая должна быть скорость и количество можете примерно сказать?
Извиняюсь, не заметил. Вышлите адрес сателлита и адрес ссылки, которую не видит (публиковаться нигде не будет).
Банят или что?
Сейчас работаю над платной версией программы: переработал бесплатную версию, сделал корректную работу с потоками (любое количество), соответственно добавил возможность остановить процесс проверки. Добавил корректную проверку на запрет к индексации страницы в robots.txt. Также добавил возможность отправлять страницы в яндекс на индексацию (в аддурилку) с использованием распознавания в antigate. Прошу подсказать, какие ещё смежные функции могут быть необходимы.
