Спасибо за быстрый ответ. Вещь хорошая этот CD, а есть что-то по-проще из разряда free-ware? Не ныжны никакие хитрые комбайны с кучей функций, просто снять все урлы с сайта отвечающие опр. критериям...
Sterh, у меня возник вопрос: Как мне пройтись пейдж вейтом по определенному разделу сайта? (сайт конкурента, доступ к роботс не имею).
Дело в том, что возникла необходимость получить список УРЛ'ов всех пользователей форуме (страниц больше 1кк). Естественно, парсить весь сайт нет смысла - нужны только ссылки профилей пользователей + долго + вылеты из-за массивности форума и невозможностью спасить большое кол-во страниц.
Как быть? Есть какие-то варианты? Чтобы PW, к примеру, лазил по страница, содержащим в url'е member= (ну или набор символов). Повторюсь, доступа к роботс нету.
Вопрос скорее в эффективности а не в цене...
Я бы не стремился) Посмотрите на кол-во ссылок? 300-400 внутренних на каждой, а внешняя еще и в noidex... Показатели сайта нулевые, трафика нет...
Как говорится: "все приходит с опытом..." ) Многие такими же были.
Я так понимаю сайт новый? Если да, то все утрясется и пойдет буржутрафф... Похожая ситуация была...
Уже вроде насоветовали вам над чем работать...
Если уж так невтерпежь - добавляйте каждую новость принудительно через GWT...
Ага, особенно массовый анкорный спам по блогам :D
тематика определяется количеством и схожестью анкоров беклинков...
главное эффективность...
