Технология: это делается через имитацию запросов напрямую к сервисам статистики: яндекс метрика, гугл аналитикс, лайвинтернет идругие. Т.е. на сам сайт бот не заходит, т.к. это ему не нужно и будет только тормозить его работу из-за низкой скорости ответа многих сайтов. Сервера сервисов статистики напротив отвечают гораздо быстрее, что позволяет делать тысячи запросов в секунду.
Вывод: бороться с этим могут только сами сервисы, например, исключением из базы всех доменов, которые сами из себя ничего не представляют, но очень часто фигурируют в источниках переходов ваших сайтов.
Что делать: пишите в тех. поддержку тикеты с просьбой проверить и исключить из общей базы (не только для вашего сайта) все озвученные здесь домены. После 100 однотипных запросов дело сдвинется ;)
Новый модуль Add URL Bing.
Другие модули также были доработаны: увеличена их скорость и надежность.
API функции:
Новая функция SAVE позволяет выполнить промежуточное сохранение данных, что в случае неудачного выполнения большого задания позволяет продолжить с указанного места.
Например, если в задании парсятся все 10 страниц выдачи Google и на 4 странице происходит сбой выполнения, то при помощи функции SAVE можно начать парсинг в следующем цикле сразу с 4 страницы.
Новая функция REDIRECT включает/выключает автоматический переход в случае редиректа.
Возможные значения: REDIRECT+ (по умолчанию) и REDIRECT-.
Например, если при запросе страницы сервер делает предварительную цепочку редиректов, то теперь программа пройдет по всем редиректам самостоятельно. Бывает, что нужно обработать цепочку редиректов самому, тогда можно временно выключить REDIRECT-, а потом снова включить REDIRECT+ автоматический переход в случае редиректа.
Новая функция REFERER включает/выключает автоматическую смену реферера.
Возможные значения: REFERER+ (по умолчанию) и REFERER-.
Например, если нужно открыть новую страницу, но после запроса сохранить реферер предыдущей страницы, то нужно сначала выключить REFERER-, а после запроса снова включить REFERER+ автоматическую смену реферера.
TOBBOT - это попытка сделать простой инструмент вебмастера для выполнения различных сетевых задач.
Программа имеет базовый набор модулей, которыми можно пользоваться сразу же:
запустил программу,
выбрал модуль,
добавил нужное кол-во строк (заданий),
запустил работу.
В идеале базовый набор модулей должен содержать все популярные задачи.
Также программа имеет открытый API, с помощью которого можно создавать собственные модули, либо заказывать их разработку на стороне.
В API включены основные функции:
URL_GET - открыть страницу,
URL_POST - отправить данные на страницу,
CAPTCHA - разгадать капчу через OCR сервис,
PARSE - найти нужный кусок текста на странице,
SCRIPT - JavaScript код для реализации недостающего функционала,
... и др.
Все это выполняется многопоточно, с/без прокси, с передачей реферера, обработкой кук.
Результат хранится в таблице (CSV файл, который можно потом смотреть в Excel).
Например, у вас появилась задача.
Проверить доступность для регистрации 1 000 000 имен доменов из базы Alexa.
Можно заказать у программиста с нуля и заплатить много денег, а можно сделать на TOBBOT за 5 минут:
URL_POST
адрес регистратора доменов
параметры, передаваемые при запросе
SCRIPT
если на странице написано, что домен досутпен, то GOOD
если не доступно, то BAD
Технология: это делается через имитацию запросов напрямую к сервисам статистики: яндекс метрика, гугл аналитикс, лайвинтернет идругие. Т.е. на сам сайт бот не заходит, т.к. это ему не нужно и будет только тормозить его работу из-за низкой скорости ответа многих сайтов. Сервера сервисов статистики напротив отвечают гораздо быстрее, что позволяет делать тысячи запросов в секунду.
Вывод: бороться с этим могут только сами сервисы, например, исключением из базы всех доменов, которые сами из себя ничего не представляют, но очень часто фигурируют в источниках переходов ваших сайтов.
Что делать: пишите в тех. поддержку тикеты с просьбой проверить и исключить из общей базы (не только для вашего сайта) все озвученные здесь домены. После 100 однотипных запросов дело сдвинется ;)
забанить по рефереру через .htaccess
как вариант: Bing
Вышла версия: TOBBOT 0.3.1![]()
Модули:
API функции:
TOBBOT 0.2.0 ☝
p.s. завтра начну писать Help 🍿
Сообщений: 1
Не работает этот ваш слово*б..
7 лет молчали, но не удержались 🍿
Есть ли у вас список страниц с которого были ссылки?
Добавил строки, акки в яше, но ниче не добавляет(
Вы скачивали последнюю версию 0.1.0? В предыдущих был баг в некоторыз модулях, который уже устранен.
Если не сложно, то пришлите мне логи или файл задания или малую часть его, чтобы я сам попробовал.
Судя по скрину - прога наверное полезная.
Попробую внести ясность...
TOBBOT - это попытка сделать простой инструмент вебмастера для выполнения различных сетевых задач.
Программа имеет базовый набор модулей, которыми можно пользоваться сразу же:
В идеале базовый набор модулей должен содержать все популярные задачи.
Также программа имеет открытый API, с помощью которого можно создавать собственные модули, либо заказывать их разработку на стороне.
В API включены основные функции:
Все это выполняется многопоточно, с/без прокси, с передачей реферера, обработкой кук.
Результат хранится в таблице (CSV файл, который можно потом смотреть в Excel).
Например, у вас появилась задача.
Проверить доступность для регистрации 1 000 000 имен доменов из базы Alexa.
Можно заказать у программиста с нуля и заплатить много денег, а можно сделать на TOBBOT за 5 минут:
п.с. другим отвечу позже, пора бежать...
Gnev88, спасибо за критику. Я все вижу/слышу и думаю как исправить.
JAVA очень популярный язык, просто в среде вебмастеров не так распространен и, видимо, поэтому вызывает трудности.
А TOBBOT - молодой, бесплатный проект. Дайте время - будет и русский, и нормальный хелп.