Так вестимо dns-сервер виноват. Сегодня ночью ловил два репорта от разных сайтов на разных серверах о недоступности. Может глобальные проблемы какие..
С последним апом на несколько часов количество страниц поднялось до 10 000 с копейками, теперь снова упало до 300-400 и колеблется час от часу.
Подождем еще апа или ответа платонов.
Filan, форум на vbulletin. Например, сёрч тоже на vbulletin - но у него 1млн результатов на 631 000 тем. А у нас 200 результатов на 20 000 тем.
Дубли в роботс.тхт вычищены аналогично - брали как раз серч за образец.
Движок весьма популярный. Думаю, яндекс имеет готовое решение по индексации и вычищению дублей.
После пинка 10-15% сайтпамов всё-таки сменили статус на "в обработке".
Платоны ответили.
Я так полагаю, тема закрыта.
futuristian, и сам сайт, и сайтмап в норме - все запросы в статусе "ок".
более того - бот яндекса отмечается в логах, жрет по 400-600 страниц ежедневно. Значит с доступом проблем скорее всего нет
Заклинание вебмастера у него какое-то универсальное. Знакомые программеры до слез ржали от сего кулхацкерского сленга.
Эх, а скоро каникулы.. Продаст этот кадр таким же интернет-бизнесменам свою эффективную бизнес-идею - и трать потом на толпы школьников время, кипишуя на каждую тревогу :(
Все тот же перец, на этот раз с ошибками:
Чуть покопал - парня заботят серьезные вопросы. Например:
- какие порты задавать программе ProxyHunter для сканирования ip США ? (тут)
- еще тема при его участии
- вот тут он подозревает лохотрон
- тут парню рассказывают о том, что у блокнота есть автозамена, но он продолжает реквестировать специальную программу
- ну и профиль вконтакте на тот же ник, где он демонстрирует монобровь и дату рождения - 13 февраля 1994 г. Некий Кирилл Кундеренко. Впрочем, последним может быть не он - число рождения из аси различается.
Судя по профилях на форумах, искусство взлома начал постигать месяц назад, и к текущему моменту уже стал легендарным кулхацкером.
[15:07:41] <BeD> здравствуйте [15:07:44] <BeD> по уязвимости [15:07:51] <640280194> здравствуй [15:09:41] <640280194> у вас на сайте скуля есть ее легко раскрутить могут сделать дефейс и слить БД+проспамить базу [15:13:36] <BeD> цена вопроса? [15:13:45] <640280194> 20$ [15:15:28] <640280194> с протеуциями не работаю [15:15:35] <640280194> протекциями* [15:17:00] <640280194> если возникло недоверие можете нанять гаранта за ваш счет [15:23:21] <BeD> ок, жду доказательств [15:24:03] <640280194> какие именно вам нужны доказательства ? [15:24:17] <BeD> наличия уязвимости [15:24:50] <640280194> если я вам предоставлю уязвимость то вы и сами сможете ее закрыть [15:25:00] <640280194> следовательно я на этом не заработаю [15:25:35] <BeD> слитая БД вполне может стать доказательством [15:32:46] <BeD> оплата в вебмани устроит? [15:33:01] <640280194> да [15:33:53] <BeD> ок, тогда жду доказательств и буду решать с администрацией по вопросу оплаты [16:26:25] <BeD> ау
Заклинание с использованием страшных слов не сработало. И как-то он не откликается.
К сожалению, разработка закрыта.
Из процесс создания парсера несколько увлек. В результате получился комбайн с забором прокси из внешнего файла, проверкой, парсингом до капчи и последующей сменой прокси. Пара дней на разбор подводных камней - и удалось достичь полного автоматизма. То есть, успевай подгружай прокси, остальное всё делается само собой. Правда, хостерам не нравится - сменил уже двоих, но все равно банят. Посему пришлось взять маленький двухбаксовый виртуальный сервер.
Производительность, конечно, не громадная - вчера за пол дня наловил всего 46020 ключей. То есть, если прокси более-менее живые и достаточно быстрые, то тысяч сто ключей в сутки можно будет делать.
Подумывал о многопоточности, но если потоки будут накладываться - ключи будут дублироваться, а хлам не нужен. Посему пока поживем на однопоточном.
От выкладывания этой поделки откажусь. Во-первых, это никому не интересно - за полсотни скачиваний всего один отзыв/комментарий. Во-вторых, если она разойдется по рукам и каждый желающий будет парсить - это вскоре доведет Яндекс до изменения защиты и придется изобретать новый велосипед. Ну и в-третьих, программист из меня никакой, так что даже за образец парсер не сойдет. Кому это будет нужно - смогут сделать быстрее-выше-сильнее :)
Может быть, после набора милиона-двух соберусь поделится ими с общественностью:) А пока приаттачу парочку небольших, вдруг кому..
Из-за ограничений на аттачи залил на обменник. Берем тут(zip, 1.65mb)
И прошу модераторов закрыть тему.
