- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Созрела необходимость парсинга списка страниц, проиндексированного Яндексом на определённом сайте.
Есть готовые инструменты под это дело?
что конкретно интересует? количество страниц в индексе?
необходимость парсинга списка страниц
по-моему, точнее некуда
так что конкретно надо? в моем понимании парсинг это вывод конкретно информации с сайта... например новостей
Возможно способ извращен, но можно через расширенный поиск яндекса вывести проиндексированные страницы по 50 штук, далее Allsubmitter'ом вытащить все страницы в отдельную базу, ну а дальше на Ваше усмотрение в каком формате нужен список в таком и сделаете экспорт.
v_ivaschenko, есть
http://chaplyg.in/blog/2009/05/yapa-v-0111/
инструменты - страницы по запросу
ставите большое количество страниц яндекса, пустой запрос и сайт.
получаете ссылки
able, идеально!
только там больше 90 страниц не получается спарсить :(
как-то можно обойти это ограничение?!
v_ivaschenko, яндекс больше 90 страниц выдачи не выдаёт. такая же ситуация в панели веб-мастера. там вроде не больше 1000 ссылок получается, да?
Яндекс.xml ?
v_ivaschenko, яндекс больше 90 страниц выдачи не выдаёт. такая же ситуация в панели веб-мастера. там вроде не больше 1000 ссылок получается, да?
честно говоря, мне становится как-то не по себе
http://yandex.ru/yandsearch?p=99&pag=u&surl=searchengines.ru&text=rhost%3D"ru.searchengines"|rhost%3D"ru.searchengines.*"
не буду утверждать, что тут 1000 страниц... но мне действительно так очень кажется, что их тут не 90
v_ivaschenko, а, ну вот. 100 страниц -- 1000 ссылок. Вы говорите про последние потерянные 10 страниц? Гляну что за баг, в следующей версии обновлю.