Solomono, на чём написан паук?
Ты просто не понимаешь всю серьёзность работы, он разработал алгоритм и хранения данных, который помещается на 1 сервере и выдаёт данные уже на уровне Yahoo 😂 😂 😂
Очуметь... и сервер не загибается хранить все данные? а то на нём ещё 4-и сайта висит.
Спору нет, что нужно бороться с причиной, но кому до этого есть дела...
http://site.ru/
Вы ЖЖОТЕ :) Вы хотите сказать, как писал phpsin выше, Ваш сервис за секунды опрашивает все страницы?
........... УДАЛЕНО.......
Опять холивары на 21 страницу какой антивирь или фаервол круче? мухахах. У ТС знаний просто 0 в области безопасности вот и всё, как и у многих. Не зная принципа работы, и орать, какое ПО лучше и т.п. ИМХО глупо.
Обычный грабер с Яху.
Мой http://yaback.net и тот с Яхи больше находит страниц
Да мы вообще +1000 тиц прямЬ гарантируем, трёх сторонний контракт делаем: Клиент, мы и Яндекс. мухахаха