Есть конечно ограничения - такой инстанс имеет вероятность отключиться, но вы можете этим управлять, написав скрипты для передеплоя и масштабирования числа vps под нагрузку. Не подойдет только для stateful-приложений, которым нужно длительно хранить состояние при обработке транзакции. Еще из особенностей - посекундный биллинг, если верить FAQ, и плата не списывается если инстанс после создания не успел проработать час и отключился автоматически.
Чтобы работало 24/7 и не умирало.
Таких хостеров не бывает. 24/7 можно сделать систему в целом, за счет избыточности и запуска в разных датацентрах, но одиночный сервер может падать в любое время. VPS - тем более, т.к. все зависит от "соседей".
kornishin: Короче все забили на Moz, mainlink два месяца не обновляет, sape тоже скоро два месяца как...
Конечно забили, после того как Moz прикрыл лавочку с бесплатным парсингом в промышленных масштабах (ввели подтверждение картой и занизили лимиты до смешного уровня), вряд ли какая-то из бирж захочет платить 1,5 миллиона деревянных в год за данные сомнительной полезности.
Тоже заметил такие глюки в понедельник. Но где-то через два часа после создания этой темы, Яндекс сам все починил. Во всяком случае, сделано уже более миллиона запросов, и пустые не выпадали.
servitpol если у вас продолжает падать, советую написать в поддержку Yandex.XML
tankoff: У кого-нибудь ситуация изменилась? У меня третью неделю по запросу host:site.ru | host:www.site.ru и site:site.ru показывает только половину страниц.
Попробуйте такой запрос: site.ru url:http://site.ru/*
А чем вам списки доменов то помогут в обнаружении обратных ссылок? Ведь могут существовать миллионы страниц, нигде не упоминаемые, но ссылающиеся на внешние сайты. Поисковики обнаруживают такие, основываясь на данных метрики/аналитикса, всяческие сервисы типа ahrefs/majesticseo - через свои браузерные плагины, или если какой-либо пользователь запросит по ним информацию.
GreatKir: Serg_CS, Язл перестал нормально работать с капчами. Невозможно собрать позиции в гугле. Отписал в суппорт.
В курсе проблемы, решаем.
max40in, Там есть работа с базой данных, которая представляет собой обычный список. Так что, думаю, можно добавить в эту базу свои строки и проверять по базе. Надо пробовать
В данном случае можно проще - проверить ссылки инструментом "Сервис - Проверка обратных ссылок". Там можно указать список URL'ов доноров и сайт-акцептор. Проверка наличия ссылки происходит, если выбрать группу параметров "Текст страницы"
overnight, не смотрели в сторону spot-инстансов AWS?
https://aws.amazon.com/ru/ec2/spot/instance-advisor/
Есть конечно ограничения - такой инстанс имеет вероятность отключиться, но вы можете этим управлять, написав скрипты для передеплоя и масштабирования числа vps под нагрузку. Не подойдет только для stateful-приложений, которым нужно длительно хранить состояние при обработке транзакции. Еще из особенностей - посекундный биллинг, если верить FAQ, и плата не списывается если инстанс после создания не успел проработать час и отключился автоматически.
Таких хостеров не бывает. 24/7 можно сделать систему в целом, за счет избыточности и запуска в разных датацентрах, но одиночный сервер может падать в любое время. VPS - тем более, т.к. все зависит от "соседей".
Короче все забили на Moz, mainlink два месяца не обновляет, sape тоже скоро два месяца как...
Конечно забили, после того как Moz прикрыл лавочку с бесплатным парсингом в промышленных масштабах (ввели подтверждение картой и занизили лимиты до смешного уровня), вряд ли какая-то из бирж захочет платить 1,5 миллиона деревянных в год за данные сомнительной полезности.
Люди добрые, подскажите, как парсить яндекс ИКС?
Про ссылку https://webmaster.yandex.ru/sqi/?host=[домен] знаю, но там уже после 100 обращений капча выскакивает
Есть ли что-то наподобие http://bar-navig.yandex.ru/u?ver=2&show=32&url= ?
С денежки можно парсить) Думаю, большинство перечисленных в этой ветке сервисов оттуда и парсит, а не с вебмастера. Быстро и без капч.
Только зачем вам понадобился бесполезный ИКС? 🍿
Тоже заметил такие глюки в понедельник. Но где-то через два часа после создания этой темы, Яндекс сам все починил. Во всяком случае, сделано уже более миллиона запросов, и пустые не выпадали.
servitpol если у вас продолжает падать, советую написать в поддержку Yandex.XML
У кого-нибудь ситуация изменилась? У меня третью неделю по запросу host:site.ru | host:www.site.ru и site:site.ru показывает только половину страниц.
Попробуйте такой запрос: site.ru url:http://site.ru/*
Нет такого сервиса.
В wizard sape есть бесплатный подбор релевантных ключевиков по контенту на сайте.
А чем вам списки доменов то помогут в обнаружении обратных ссылок? Ведь могут существовать миллионы страниц, нигде не упоминаемые, но ссылающиеся на внешние сайты. Поисковики обнаруживают такие, основываясь на данных метрики/аналитикса, всяческие сервисы типа ahrefs/majesticseo - через свои браузерные плагины, или если какой-либо пользователь запросит по ним информацию.
Из публичных баз довольно неплохая http://commoncrawl.org/
Парсить весь интернет (или даже рунет) вручную в любом случае выйдет вам дороже, чем пользоваться готовыми платными источниками.
Частый вопрос в тикетах: как добавить запросы в проект?
Ответ в этом коротком видео ;)
Коллеги, если это реально частый вопрос, то лучшим ответом будет переход от интерфейса, сделанного чужими для хищников, к человеко-ориентированному ;)
Serg_CS, Язл перестал нормально работать с капчами. Невозможно собрать позиции в гугле. Отписал в суппорт.
В курсе проблемы, решаем.
В данном случае можно проще - проверить ссылки инструментом "Сервис - Проверка обратных ссылок". Там можно указать список URL'ов доноров и сайт-акцептор. Проверка наличия ссылки происходит, если выбрать группу параметров "Текст страницы"
http://www.yazzle.ru/features/30/
Не получали подобных вопросов на Email. Уточните посредством ЛС ваш адрес, который был указан в обращении.
Gnev88, напишите в ЛС Email-адрес, который вы указывали при обращении в техподдержку по обнаруженным вами проблемам.