Лекарство для SAPE.

10000 ссылок проверить за 10-30 минут реально, на все параметры (индексация в яндексе, гугле, внешние, pr, уровень), особенно, если проверка встроена в интерфейс биржи.

не удержался? ;) 🚬

сорри, все, ухожу из темы 😆

это что у вас за мегасервак такой, что вы 10к ссылок проверяете за 30 минут? я с 15 айпишников скриптом за 2-3 часа проверяю индексацию (ну ессно там всякие задержки и т.п. стоят, что б яша не побанил), а вы за 30 минут о_О.

ну 15 ИПов это 15 баксов в месяц ,

Сервак не думаю что грузиться под завязку или сервак дешевый :)

а так 10000 паг проверить это : ПР, индекс гугля, индекс яши , копискейп + по одному запросу на домен ТИЦ, ДМОЗ, ЯК

даже если для каждой паги дергать индекс то

получаем 20К запросов которые баняться и 20К запросов которые не баняться (ПР и копискейп можно засыпать под завязку ) + допустим еще 600 запросов ТИЦ ДМОЗ ЯКАТ для 200 доменов

уже вполне реально

+ зачем дергать индекс каждой странички если дергаешь индекс сайта и на питоне распарсиваешь.

Итого если сделать так то получаем 100 запросов гуглу и яше для индекса, 20К ПР и копискейп и еще 600 запросов :) нереально ? ну тогда у вас скрипт плохой

да не под завязку конечно.

это как это так, можно подробнее? и все равно чет я не понял почему запросов уменьшится. 10к ссылок это же и есть обычно 10к сайтов. а скрипт не мой.

basterr добавил 18.10.2008 в 07:37

кстати. это вы теоретически сейчас тут говорите или сами уже так все проверяете на практике?

делаем запрос

http://www.google.com/search?hl=en&safe=off&num=100&q=site%3Aforum.searchengines.ru&btnG=Search

получаем по 100 результатов, все странички парсим , и потом локально регэкспом выдераешь урлы, получаешь спискок проиндексенных паг , соответсвенно те урлы которые мы не получил будут считаться не индексенными.

Для проверки индексации гугл не парсим :) есть опыт парсинга для других нужд .

тут подумалось что есть огрехи в моей схеме :

1)есть проблемма что гугел после 1000 резалтов не кажет :) тут можно разруливать уточняя запрос делая выборку индексации подпапок, но это лишний гемор в коде

2)и работа с базой , если необходимо парсить много страниц >>10000 будут траблы со сравниванием, проиндексированных и тех что в базе

ну по одному урлу тоже можно выдрать все данные для 10000 паг за менее чем час.

Flair DS, вы предлагаете гланды через жопу вырезать? я не понял нафига парсить весь сайт и делать кучи запросов, если надо проверить проиндексированность одной страницы и это проверяется одним запросом.

а вот так. об косяк :D

набежали теоретики..

ага. и такие люди еще учат как правильно делать.

ага. и это в 100 раз больше запросов.

Разумеется, ТС, у нас свободная страна, вы вправе иметь и высказывать свое мнение.

Но у меня, например, нет особого желания вмешиваться в развитие бирж ссылок, определять кому из них какое место предназначено и за уши их на это место тащить.

Да, у sape есть какие-то проблемы, хорошо бы их решить. Да, возможно, у других бирж что-то лучше.

Но развитие их бизнеса это их собственное дело. Если они способны подняться на уровень sape , составить реальную конкуренцию - все произойдет естественным путем, народ на них потянется. Если sape развалится под нагрузкой - народ оттуда уйдет.

Обсуждать - можно. Но повлиять на эти процессы мы практически не можем. Какой бы сексуальный голос не был у поддержки mainlink, мыши О и ВМ все равно будут "плакать, колоться, но продолжать жрать кактус" на sape . Потому что сейчас иной реальной альтернативы нет.

Все естественно. Не надо плевать навстречу паровозу. Это, по-крайней мере, бессмысленно.