- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем добрый вечер.
По ссылке http://www.liveinternet.ru/rating/
представлены 523 тысячи адресов сайтов.
Как можно скопировать АДРЕСА этих сайтов?
Т.е. получить список вида:
вк.ком
ок.ру
Майл.ру
авито.ру
и т.д. все 523 тысячи?
У них вроде аяксом сейчас подгружаются сайты по вашей ссылке..
Не уверен что сработает парсинг html по file_get_contents.
Может есть какие другие парсинги аякса :)
Надо хорошенько в яваскриптах порыться. Чтоб вычислить где та страница, которую аякс подгружает
---------- Добавлено 20.01.2016 в 23:50 ----------
Не уверен что сработает парсинг html по file_get_contents
не сработает, даже пробовать нечего
не сработает, даже пробовать нечего
Я сказал, что не сработает, по моему мнению. Мнения у всех разные :), может тут найдутся специалисты, которые меня опровергнут 🍿 Я готов к новым знаниям 🤪
Надо хорошенько в яваскриптах порыться. Чтоб вычислить где та страница
А чего копаться, вроде тут: http://www.liveinternet.ru/js/rating-1.js 🍿
Вам надо смотреть в сторону ... урл выше :), а точнее вот этот участок из файла тянет данные
Без хорошего спеца по JS тут не разобраться :) скрипт тоже не дураки ведь делали
---------- Добавлено 20.01.2016 в 23:59 ----------
ziliboba0213, пока рассматривал код вы уже все написали
А сервисов никаких нет?
limyh, не думаю что где-то палится посещения всех лирушных сайтов :) Много кто хотел бы видеть статистику своих конкурентов. Но если зная домен можно получить статистику, то получить все вместе с доменами - увы нет
---------- Добавлено 21.01.2016 в 10:00 ----------
Можно обойти парсером. Страницы
http://www.liveinternet.ru/rating/today.tsv?page=$i
$i от 1 до числа страниц на момент парсинга. Эта переменная каждый час меняется.
Данные отделяются друг от друга знаком табуляции, а сайт от сайта знаком переноса строки.В принципе не особо сложно, но надо иметь час-другой для работы
Зачем вам куча топиков?
searchengines.guru/showthread.php?p=14261371
Пробуйте софт datacol
limyh, не думаю что где-то палится посещения всех лирушных сайтов :) Много кто хотел бы видеть статистику своих конкурентов.
Да мне не посещалка и еще что-то нужно. Мне просто адреса сайтов всех нужно)
---------- Добавлено 21.01.2016 в 14:10 ----------
Пробуйте софт datacol
Не получается. Может нельзя?
limyh, вы с каким-то языком программирования знакомы, или ищете чтоб вам дали готовый код? Алгоритм вам уже объяснили - цикле обойти все страницы и с помощью регулярки вырезать все урлы на странице, занести их в массив и потом лишь прочитать его. Там делов на час с перекуром.