- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
По мотивам этого поста я решил сделать простой софт на BAS (BrowserAutomationStudio) для обхода сайта и делюсь им с вами.
Думаю многим пригодиться. :beer:
Что софт делает?
Софт работает в многопотоке и может обходить сайты очень быстро.
Кол-во поддерживаемых потоков будет зависеть от вашего железа.
Работает в двух режимах:
1. Может за несколько секунд спарсить ваш Sitemap.xml и положить урлы в файл для дальнейшего обхода.
Для этого укажите софту txt список с вашими сайтмапами, например:
https://domain.ru/sitemap-1.xml
https://domain.ru/sitemap-2.xml
и т.д.
2. Обходит сайт по списку урлов
2.1 Меняет User-Agent
2.2 Задается интервал прибывания на сайте
2.3 Для хардкорщиков есть возможность подключать прокси
Скачать можно по этой ссылке
P.S. софт может блокироваться 10 виндой, по этому вопросу лучше писать сразу разработчику движка.
Недавнее сканирование на Virustotal
Если надо будет чего добавить пишите тут, будет время я обновлю софт.
Эм, а зачем обходить сайты? с какой целью?
мож я чего то не знаю?
Эм, а зачем обходить сайты? с какой целью?
мож я чего то не знаю?
Я указал ссылку на форум адсенса в самом верху, там есть информация.
Ну и я на своих сайтах обошел 300к страниц и теперь вижу рекламу на каждой.
Обходил вчера ночью.
Пробуйте, может и вам поможет и мне будет интересен ваш результат.
Если будет время, то сделаю планировщик, чтобы можно было поставить софт на VPS и он сам будет каждый день обходить сайт в указанном интервале.
Ну и я на своих сайтах обошел 300к страниц и теперь вижу рекламу на каждой.
Сколько времени ушло на обход 300к страниц?
Из правил Adsense:
Издателям запрещено обновлять страницу или ее элемент без соответствующего запроса пользователя. Подразумевается, кроме прочего, показ объявлений на страницах или в других местах размещения с автоматической переадресацией или автоматическим обновлением.
....
- многократные просмотры или клики, выполненные одним или несколькими пользователями;
...
ТС, какой % роботности в отчетах GA после обхода сайта ботом?
На сколько вижу из настроек скрипта, слепки фингера не используете?
В скрипте есть алгоритм случайных действий на странице: движения мышкой, клики, прокрутка и т.д.?
Список прокси отрабатывает по кругу или по одному на поток и когда список закончится, то скрипт делает "стоп"?
Сколько времени ушло на обход 300к страниц?
Из правил Adsense:
А кто знает - кто обновляет страницу? От этого софта явно не может быть последствий.
От этого софта явно не может быть последствий.
Раз так категорично, тогда может и сразу кликать по рекламе, нет? Сейчас нет последствий хорошо, через неделю чевонить выкатят, и полетят аки в далекое пешее пачками...
Раз так категорично, тогда может и сразу кликать по рекламе, нет? Сейчас нет последствий хорошо, через неделю чевонить выкатят, и полетят аки в далекое пешее пачками...
Вы тогда лишний раз бойтесь посмотреть рекламу на своем сайте, а вдруг и что... Да и на монитор не дышите, а то опять же вдруг и что...
Вообще удивляет, столько говна в сторону ТС полетело, а он поделился хорошей программой. Которая никаких правил не нарушает.
Вообще удивляет, столько говна в сторону ТС полетело, а он поделился хорошей программой. Которая никаких правил не нарушает.
Нарушает...
Раз так категорично, тогда может и сразу кликать по рекламе, нет? Сейчас нет последствий хорошо, через неделю чевонить выкатят, и полетят аки в далекое пешее пачками...
полный бред. Куча ботов просматривает страницы. Чем этот софт отличается от того же поиского бота любого поисковика?
Нарушает...
И что же нарушает? Бот ходит и смотрит страницы. Вы хоть головой то думайте, прежде чем писать... Лишь бы ляпнуть что-нибудь.