Каким образом можно скопировать все адреса сайтов из лайвинтернет?

12
L
На сайте с 01.11.2012
Offline
201
1617

Всем добрый вечер.

По ссылке http://www.liveinternet.ru/rating/

представлены 523 тысячи адресов сайтов.

Как можно скопировать АДРЕСА этих сайтов?

Т.е. получить список вида:

вк.ком

ок.ру

Майл.ру

авито.ру

и т.д. все 523 тысячи?

Градация уровней знаний в SEO: Pre-Junior / Junior / Strong Junior / Pre-Middle / Middle / Strong MIddle / Pre-Senior / Senior / Strong Senior. Я где-то между 3-4 м уровнем. К сожалению. Хочу больше. Мог бы больше.
TOBBOT
На сайте с 04.11.2014
Offline
41
#1

оффтоп: могу помочь за небольшое вознаграждение )

Инструменты интернет-маркетинга - JLAB (http://jlab.io/) Бесплатная автоматизация с программой TOBBOT (http://tobbot.com/)
Jaf4
На сайте с 03.08.2009
Offline
804
#2

ответ очевиден: парсер

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
D
На сайте с 28.10.2015
Offline
8
#3

Если первое и второе не осилить, тогда остается только

ctrl - C , ctrl - V

L
На сайте с 01.11.2012
Offline
201
#4
TOBBOT:
оффтоп: могу помочь за небольшое вознаграждение )

Мы русские, должны друг другу помогать)) За спасибо-спасибо))

Может это делается быстро на коленке. И вам лучше.. опыта наберетесь))

https://www.youtube.com/watch?v=9UoMClocBgY

C
На сайте с 26.10.2013
Offline
54
#5
limyh:
Мы русские, должны друг другу помогать)) За спасибо-спасибо))
Может это делается быстро на коленке. И вам лучше.. опыта наберетесь))

https://www.youtube.com/watch?v=9UoMClocBgY

Скажите проще - денег нет

Быстро на коленке - вперед, пишите модуль для tobbot.com

Услуги по парсингу данных (/ru/forum/939826), единоразовый и регулярный сбор данных. Любые объемы. Скрипты на PHP, создание и доработка, решение проблем с сайтами Пишите в личные сообщения или скайп
I0
На сайте с 14.10.2006
Offline
142
#6

Можно парсить по этой ссылке:

http://www.liveinternet.ru/rating///today.tsv?page=1

page циклом просканировать

Анализ сайта ( https://pr-cy.ru ) Проверка позиций - LINE ( https://line.pr-cy.ru ) 0,025 Р / ключ (конкуренты бесплатно)
L
На сайте с 01.11.2012
Offline
201
#7
ig0r:
Можно парсить по этой ссылке:

http://www.liveinternet.ru/rating///today.tsv?page=1
page циклом просканировать

А как и чем организовать этот цикл?

I0
На сайте с 14.10.2006
Offline
142
#8
limyh:
А как и чем организовать этот цикл?

Можно на php.

Примерно так:


<?
for ($i = 1; $i <= 1000; $i++) {
echo file_get_contents("http://www.liveinternet.ru/rating///today.tsv?page=".$i);
}
?>
L
На сайте с 01.11.2012
Offline
201
#9
ig0r:
Можно на php.
Примерно так:


<?
for ($i = 1; $i <= 1000; $i++) {
echo file_get_contents("http://www.liveinternet.ru/rating///today.tsv?page=".$i);
}
?>

Со скриптами дело не имел.

Погуглил.

Подскажите правильно ли делаю

Часть 1.

1. Скачал-установил Denwer

2. Запустил Денвер

2: Зашел на новый виртуальный диск Z.

3: Зашел в папку home.

4: Создал свой папку: test

5: Зашел в эту папку и создал в ней папку с именем www.

6: В папке www создал файл index.php в котором записал этот код, который вы прислали

7: Перезапустил Denwer

8: В браузере открыл ссылку: http://test/index.php

жму Enter и в этой вкладке начало "что-то парситься" (ДО ЭТОГО МОМЕНТА (первую часть-подготовку) ВСЕ ПРАВИЛЬНО ДЕЛАЮ)???

(привожу скриншот того, что парсилось, начиная с самого начала:

http://dl3.joxi.net/drive/0003/1207/206007/160121/cfb508998e.jpg

Через некоторое время(прошло кажется секунд 20-30) "парсинг остановился"

В этой же вкладке в самом конце появилась такая строчка

Fatal error: Maximum execution time of 30 seconds exceeded in Z:\home\test\ on line 3

что это?

TOBBOT
На сайте с 04.11.2014
Offline
41
#10

судя по скрину - все шло хорошо (кроме корректного отображения описания на кирилице), но потом сервер забанил IP или просто долго отвечал и выскочил error

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий