Парсинг title со всех страниц сайта

Bra1ner1ck
На сайте с 23.12.2007
Offline
91
1166

Есть сайт. страниц - миллионы, как мне спарсить title большинства страниц задав 1 url сайта?

Пробовал через A1 Sitemap Generator - но после 200-300к страниц программа виснет. большой обьем данных

site+
На сайте с 19.11.2009
Offline
148
#1

Content Downloader

Размещение статей на 300+ сайтах всего за 80$! Инновационное предложение! ( /ru/forum/874956 )
IPXI
На сайте с 04.11.2015
Offline
126
#2

написать/заказать простенького паучка который не спеша всё обойдёт 🙄

seosniks
На сайте с 13.08.2007
Offline
389
#3

Если это ваш сайт, можно вынуть скриптом из базы, все title за минуту.

Alex Klo
На сайте с 15.06.2006
Offline
304
#4
seosniks:
Если это ваш сайт, можно вынуть скриптом из базы, все title за минуту.

ещё и урлы добавить... и группировку-сортировку...

Проверка и мониторинг позиций сайта ( http://www.topvisor.ru/?inv=1520 ) Продвигаю сайты http://climat-nw.ru/conditioner-installation/ http://www.aircom-spb.ru/service/montaj/
Bra1ner1ck
На сайте с 23.12.2007
Offline
91
#5

NEWProject откликнулся помочь в парсинге сайта своим софтом, посмотрим сколько в конце выйдет ключей

seosniks
На сайте с 13.08.2007
Offline
389
#6
Alex Klo:
ещё и урлы добавить... и группировку-сортировку...

Урлы вынуть тоже не проблема, и сортировку по дате можно или по алфавиту.

Я себе несколько десятков тысяч вынимал, делал карту сайта.

Bra1ner1ck
На сайте с 23.12.2007
Offline
91
#7

NEWProject спарсил пол миллиона страниц меньше чем за сутки, спасибо! если сайты выстрелят - если сайты выстрелят, обязательно приобрету ваш софт)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий