overnight, не смотрели в сторону spot-инстансов AWS?
https://aws.amazon.com/ru/ec2/spot/instance-advisor/
Есть конечно ограничения - такой инстанс имеет вероятность отключиться, но вы можете этим управлять, написав скрипты для передеплоя и масштабирования числа vps под нагрузку. Не подойдет только для stateful-приложений, которым нужно длительно хранить состояние при обработке транзакции. Еще из особенностей - посекундный биллинг, если верить FAQ, и плата не списывается если инстанс после создания не успел проработать час и отключился автоматически.
Таких хостеров не бывает. 24/7 можно сделать систему в целом, за счет избыточности и запуска в разных датацентрах, но одиночный сервер может падать в любое время. VPS - тем более, т.к. все зависит от "соседей".
Конечно забили, после того как Moz прикрыл лавочку с бесплатным парсингом в промышленных масштабах (ввели подтверждение картой и занизили лимиты до смешного уровня), вряд ли какая-то из бирж захочет платить 1,5 миллиона деревянных в год за данные сомнительной полезности.
С денежки можно парсить) Думаю, большинство перечисленных в этой ветке сервисов оттуда и парсит, а не с вебмастера. Быстро и без капч.
Только зачем вам понадобился бесполезный ИКС? 🍿
Тоже заметил такие глюки в понедельник. Но где-то через два часа после создания этой темы, Яндекс сам все починил. Во всяком случае, сделано уже более миллиона запросов, и пустые не выпадали.
servitpol если у вас продолжает падать, советую написать в поддержку Yandex.XML
Попробуйте такой запрос: site.ru url:http://site.ru/*
В wizard sape есть бесплатный подбор релевантных ключевиков по контенту на сайте.
А чем вам списки доменов то помогут в обнаружении обратных ссылок? Ведь могут существовать миллионы страниц, нигде не упоминаемые, но ссылающиеся на внешние сайты. Поисковики обнаруживают такие, основываясь на данных метрики/аналитикса, всяческие сервисы типа ahrefs/majesticseo - через свои браузерные плагины, или если какой-либо пользователь запросит по ним информацию.
Из публичных баз довольно неплохая http://commoncrawl.org/
Парсить весь интернет (или даже рунет) вручную в любом случае выйдет вам дороже, чем пользоваться готовыми платными источниками.
Коллеги, если это реально частый вопрос, то лучшим ответом будет переход от интерфейса, сделанного чужими для хищников, к человеко-ориентированному ;)
В курсе проблемы, решаем.
В данном случае можно проще - проверить ссылки инструментом "Сервис - Проверка обратных ссылок". Там можно указать список URL'ов доноров и сайт-акцептор. Проверка наличия ссылки происходит, если выбрать группу параметров "Текст страницы"
http://www.yazzle.ru/features/30/
Не получали подобных вопросов на Email. Уточните посредством ЛС ваш адрес, который был указан в обращении.
Gnev88, напишите в ЛС Email-адрес, который вы указывали при обращении в техподдержку по обнаруженным вами проблемам.
