- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Что за скрипт? Есть линк на него?
Нет. Он платный
Ребят, а как так получается, что у конкурентов в поиске висит в топе домен site.com который полностью закрыт? Код 403 и для людей и для ботов. По клику из поиска всех отправляют 301 редиректом на поддомен c.site.com. Логика вполне понятна - блокируются поддомены (очевидно, a.site.com и b.site.com уже грохнули, и продвигать поддомен бесполезно), а основной домен site.com не блокируется, ибо он просто недоступен (прямой заход тоже редиректит на поддомен). Но как они его продвигают, если он по факту не получает трафика????
В последнее время стали, как правило, блокировать домен со всеми поддоменами. Если домен не трогают, значит им так нужно и в этом случае вопрос, как продвигают, у
В последнее время все блокировки происходят автоматически. Как я понимаю, специально обученные боты парсят выдачу по нужному запросу - собирают список доменов. Далее по списку домены парсятся на предмет запрещенки. То есть на сайты никто не переходит и вручную не просматривает содержимое. Таким образом, если домен глухо закрыт и отдает 403 код, то спарсить его нельзя. И заблокировать соответственно тоже.
В последнее время все блокировки происходят автоматически. Как я понимаю, специально обученные боты парсят выдачу по нужному запросу - собирают список доменов. Далее по списку домены парсятся на предмет запрещенки. То есть на сайты никто не переходит и вручную не просматривает содержимое. Таким образом, если домен глухо закрыт и отдает 403 код, то спарсить его нельзя. И заблокировать соответственно тоже.
да клоакинг снижает количество абуз и блокировок.
В последнее время все блокировки происходят автоматически. Как я понимаю, специально обученные боты парсят выдачу по нужному запросу - собирают список доменов. Далее по списку домены парсятся на предмет запрещенки. То есть на сайты никто не переходит и вручную не просматривает содержимое. Таким образом, если домен глухо закрыт и отдает 403 код, то спарсить его нельзя. И заблокировать соответственно тоже.
А с каких айпишников они сейчас ходят?
Ребят, а как так получается, что у конкурентов в поиске висит в топе домен site.com который полностью закрыт? Код 403 и для людей и для ботов. По клику из поиска всех отправляют 301 редиректом на поддомен c.site.com. Логика вполне понятна - блокируются поддомены (очевидно, a.site.com и b.site.com уже грохнули, и продвигать поддомен бесполезно), а основной домен site.com не блокируется, ибо он просто недоступен (прямой заход тоже редиректит на поддомен). Но как они его продвигают, если он по факту не получает трафика????
А с каких айпишников они ходят?
Со всяких, есть как серверные мусорные типа битерики, так и ростелеком, мегафон и прочие домашние.
Со всяких, есть как серверные мусорные типа битерики, так и ростелеком, мегафон и прочие домашние.
Есть какие-то признаки по которым этих ботов можно заклоачить?
Есть гитхаб репозиторий, где эти сетки публикуются.
В личку не пишите. Не покажу. Сами найдете, если захотите.
Есть какие-то признаки по которым этих ботов можно заклоачить?
яндекса/гугла пропускать, остальных проверять активной проверкой на "человечность", самое простое и самое эффективное.