Can-guru, а как базы .asdcrypt шифруются ? надеюсь необратимо? по хэшу ссылки каждой?
большое спасибо автору ;)
помню водку с 3мя столовыми ложками кофе растворимого выпил.. мгновенно опъянел, А потом через час протрзвел вдруг. Странно получилось))))
с Д.Р.)
угу.... проверил, отвисает если долго ждать...
при проверке совпадения доменов заглавные и строчные буквы учитываются?:)
нас
по дубликатам:
собрал с проекта нового, который прогнал по базе бэклинки, добавил их, часть из них программа распознала как новые каталоги, добавила в раздел "осталось"
незнаю, если сайт напоминает помойку, почему бы и не пожаловаться.... противно видеть эти кучи спама с полу-тысячами внешних ссылок на страницу.....
какого черта я должен тратить метр траффика изза них. Пусть делают чтобы в выдаче яндекса было написано: сайт-помойка, 2кб полезной ворованой инфы и 900кб рекламы и ява-скриптов....
это я как пользователь.....
конкурентов у меня нет
можете смело лепить минусы...
Can-guru, по поводу отлова дубликатов:
а как работает механизм поиска дубликатов? Он сайты с WWW и без считает за разные?? Взял базу, уже якобы без дубликатов доменов. Удалил в ручную все WWW из адресов, добавил опять в Аллсубмиттер, адресов стало ощутимо меньше! Это плохо.....
И потом ощущение что часто адрес http://site.com и какой-нибудь http://site.com/cgi-bin/links/show.pl он тоже за разные считает.
Возможно механизм запинается на доменах более 2го уровня. Например www.cat.site.ru , www.site.ru
еще предложение, их двух адресов-дубликатов, оставлять тот что длиннее, т.к. скажем
http://www.site.ru/catalog/add.php более вероятней будет вести сразу на страницу добавления сайта, чем
http://www.site.ru/
saman, один раз подобное было. потом нормально....
закэшировал часть базы, прохощусь по ней , ни одна картинка с кодом против ботов ни работает!!! (с отключенными картинкамИ, когда правой кнопкой жму "показать рисунок".раньше без кэширования нормально все работало)
это не есть хорошо!
tematika, попробуй не потолстеть, а мышцы набрать....... качацца, есть больше белков, что-нибудь для лучшей усваиваимости организма попробуй, препараты какие-нить...
у меня вот хуже все.. я худой, и пузо есть некрасивое, хоть и небольшое. это вот точно кошмар))
мну б 100баксов хоть... а остальное прирастет)
Can-guru, а зачем картинки то кешировать??? это же уйма лишнего траффа... я лично давно отключил графику, мне хватает просто HTML (иногда конечно бывают трудности с граф.кнопками без подписей)
Обычно хватает того что сабмиттер сам ссылки фоном ярким выделяет (кстати, возможно это я вам эту идею и подкинул - писал давно в суппорт предложение ;) )
Как вариант дать пользователю выбирать кашировать ли картинки.... +можно пытаться кнопки-картинки отлавливать (по размеру файла, скажем <5кб, по разрешению(маленькое+игнорировать размеры стандартных баннеров ), или по наличию по ссылки (содержит *add* и т.п.) )
картинки, которые не содержат ссылок вообще можно не кэшировать.... особенно CAPTHA коды... их кстати можно тоже научиться опознавать.....
еще можно БД как-нить кэшироать. При больших базах (5-10тыс) любое малейшие действие минуты занимает. непонятно зачем это. открыл окно фильтров/закрыл..... заново полоска-прогресс идет.... оч.долго
баг:
постоянно когда много потоков, некоторые виснут, чем дольше по времени идет проверка, тем больше потоков виснет. Если нажмешь "Остановить" то процесс проверки уже скорее никогда не остановится и придется снимать задачу......
Если потоков не много, а каталогов много, то мало шансов что хоть один поток доберется до конца :) приходится снимать задачу и проверять недопроверенные, с помощью фильтров
