- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пишу тут для себя парсер Я.Каталога.
В чем основная идея и отличие от существующих?
Я собираю не только urlы, но все что мне интересно (Название, Description, тИЦ...). Данные обновляются после апов тИЦ или вручную. Поскольку храним историю, можем анализировать изменения в интересующей нас категории: кто из новых появился, как сдвинулись сайты, кто активно лезет на первую страницу (и стоит поглядеть на его методы лазанья) и т.д.
Такие вот вопросы есть:
- что бы лично вы хотели видеть в таком сервисе?
- необходимо ли сохранять "Регион", все подразделы где еще есть сайт, адрес для тех, у кого он прописан? Зачем?
- просто ваши мысли :)
Пишу тут для себя парсер Я.Каталога.
В чем основная идея и отличие от существующих?
Я собираю не только urlы, но все что мне интересно (Название, Description, тИЦ...). Данные обновляются после апов тИЦ или вручную. Поскольку храним историю, можем анализировать изменения в интересующей нас категории: кто из новых появился, как сдвинулись сайты, кто активно лезет на первую страницу (и стоит поглядеть на его методы лазанья) и т.д.
Такие вот вопросы есть:
- что бы лично вы хотели видеть в таком сервисе?
- необходимо ли сохранять "Регион", все подразделы где еще есть сайт, адрес для тех, у кого он прописан? Зачем?
- просто ваши мысли :)
Экспорт в файл (txt, xls).
У себя сделать - руки не доходят.
Экспорт в файл (txt, xls).
У себя сделать - руки не доходят.
Ага, это и сам в планах добавил. Не сложно, сделаю.
Так, поглядел на твой парсер - блин, ты теперь и в базе хранишь? ;)
Только вот тИЦ не собирается, регион и т.д, так?
Да и вторая страница у меня в категории не открылась чего-то...
http://barykin.com/yca/tungrp/cat/Science/Secondary_Education/Pre-School/1.html
Ага, это и сам в планах добавил. Не сложно, сделаю.
Так, поглядел на твой парсер - блин, ты теперь и в базе хранишь? ;)
Только вот тИЦ не собирается, регион и т.д, так?
Тицы и т.д. не собираю. Мне парсинг урлов нужен был для сапы.
В базу кидаю, чтобы яндекс часто не дёргать.
http://barykin.com/yca/tungrp/cat/Science/Secondary_Education/Pre-School/1.html
Поправил. :D
Тицы и т.д. не собираю. Мне парсинг урлов нужен был для сапы.
В базу кидаю, чтобы яндекс часто не дёргать.
Ну, как и раньше - парсинг урлов, просто теперь еще и в базу-кеш складываешь, так?
Ну, как и раньше - парсинг урлов, просто теперь еще и в базу-кеш складываешь, так?
Ага. И кеш изредка обновляется.
sokol_jack, нужен сбор мыл с сайтов и забивание в базу по категориям :)
Солидарен с думаю. Было бы неплохо. :)
sokol_jack, нужен сбор мыл с сайтов и забивание в базу по категориям :)
Э... не понял.
Парсим каталог, и на каждый сайт залазим и выгребаем все мылы, что там найдем?
Ну, это во-первых стоит делать отдельно - список всех урлов по категориям получить не проблема уже сейчас.
А во-вторых - как-то слово "спам" вспомнилось...
Зачем мне например мылы с сайтов по категориям? 🙄
Либо лезем в whois каждого домена (ну кроме фрихостовых) и тащим мыл оттуда.
sokol_jack, ещё не плохо бы было если бы скрипт автоматом смотрел сайты и искал допустим или страницы где 10 внешних или страницы с названием catalog.php /catalog/ /linl/ то есть анализировал есть ли каталог с на сайте, и тоже по категориям базу для тематического обмена ссылками только с сайтами из Яка
ПС не спам, а предложение по обмену ссылками