- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Кто скрывал от парсеров свои сайтмапы будут неприятно удивлены тому факту, что Google стал показывать рядом с выдачей истинный путь к карте сайтов.
То есть, для парсеров раньше было препятствием отсутствие списка адресов всех страниц сайта.
А сейчас всё... спаслил google наши карты.
Кто скрывал от парсеров свои сайтмапы будут неприятно удивлены тому факту, что Google стал показывать рядом с выдачей истинный путь к карте сайтов.
То есть, для парсеров раньше было препятствием отсутствие списка адресов всех страниц сайта.
А сейчас всё... спаслил google наши карты.
1. Зачем скрывать от парсеров сайтмапы если они могут просто парсить сайт без них?
2. Парсеры блочат по странам, подсетям или по User-Agent, а не скрывают из стандартных путей.
1. Зачем скрывать от парсеров сайтамы если они могут просто парсить сайт без них?
Постоянно сканировать сайт 200-500 тыс страниц на наличие обновлений?
Парсеру проще сверять список, и после этого "приватизировать" авторскую статью на говнобложик
2. Парсеры блочат по странам, подсетям или по User-Agent, а не скрывают из стандартных путей.
Прокси, User-Agent 😀 какой сделать? wget site.com -U 'Browser no parser'
Прокси, User-Agent 😀 какой сделать? wget site.com -U 'Browser no parser'
Ну эта глупая шутка от непонимания процессов. Нормальные и легальные краулеры все ставят юзер-агенты по которым можно блчить, тот же ахрефс или бинг, которые очень могут грузить. Понятно, что нелегальные парсеры не ставят в юзер-агент что они парсеры, потому и было написано про подсети.
Постоянно сканировать сайт 200-500 тыс страниц на наличие обновлений?
Парсеру проще сверять список, и после этого "приватизировать" авторскую статью на говнобложик
Сайтмапы часто не обновляются и никто в здравом уме не будет полагаться на сайтам при парсинге. И при частом сканировании это проблемы сайта будут, а не парсера.
Кто скрывал от парсеров свои сайтмапы будут неприятно удивлены тому факту, что Google стал показывать рядом с выдачей истинный путь к карте сайтов.
То есть, для парсеров раньше было препятствием отсутствие списка адресов всех страниц сайта.
А сейчас всё... спаслил google наши карты.
А посложнее ничего не пробовали придумать? Проверил у себя, ничего никто не слил, но у меня и путь гораздо сложнее.
Сайтмапы часто не обновляются и никто в здравом уме не будет полагаться на сайтам при парсинге
Если они вручную делаются, то конечно они не будут обновляться. А если автоматически - лично я вообще не вспоминаю никогда про них. Само всё обновляется.
лично я вообще не вспоминаю никогда про них. Само всё обновляется.
Очень рад за тебя, только к общей ситуации это мало относится.
Очень рад за тебя, только к общей ситуации это мало относится.
Конечно мало. Человек паникует, что карты сайтов гугл стал сливать. Я ему говорю, что не стал, просто надо сложнее пути делать.
Что касается эффективности таких манипуляций, как скрытие полной карты сайта, тут каждый сам выбирает. Лично для меня эффект есть. Когда она была публичная, у меня весь сайт спарсили, а потом меньше недели проходило после обновлений. После скрытия - это дело прекратилось. Просто стало сложнее парсить весь сайт, а если это будет частично - не страшно для меня. Полностью защитить от копирования и парсинга всё равно не получится никак. Это невозможно.
Полностью защитить от копирования и парсинга всё равно не получится никак. Это невозможно.
Убрать 90% парсеров и ботов можно легко, просто блокируя ненужные страны и подсети. А если детектить обращение к множеству страниц за короткий промежуток, то можно и 99% убрать, добавив в вайтлист нужные боты.
В блеклист все страны, откуда не идет основной трафик + подсети хостеров.
Защита от парсеров сокрытием стандартных путей... ну это дилетантство какое-то.
Кто скрывал от парсеров свои сайтмапы будут неприятно удивлены тому факту,
что существуют ещё и проксирование.