- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Смотрел исходник страницы серпа Яндекса, сразу после <body> нешел ссылку:
<a href="/norobot/d9ad00cc-43043954-8c43.html"></a>
взял и сходил по ней :))
Теперь Яндекс мне пишет:
Forbidden
You don't have permission to access this server.
О как :) Даже посмотреть, на какой адрес писать, не могу :)) И смех, и грех :))
Чего делать-то, а? :)))
Это ловушка для черезчур любопытных и невежливых роботов, которые без спросу парсят выдачу Яндекса и лезут по всем ссылкам в ней. Попали Вы...
Это ловушка для невежливых роботов, в которую вы попались.
Придется подождать 2-3 часа, потом отпустит автоматически.
Update: опоздал немного. ;)
То, что ловушка, понял сразу :) Спасибо, буду ждать :)
Уффф... Отпустило :)
Классная идея!
И почему такое раньше в голову не пришло.
Dwarf, респект:)
Классная идея!
Здесь все немного сложнее потому что в некоторых броузерах есть предварительный запрос документов но насколько я помню при этом в запросе должен быть специальный header который является признаком такого предварительного запроса.
Artisan, т.е. запрос документов?
делаем скрытую ссылку ссылку на скрипт, ловим всех ботов.
может для какого-то это бонально, но для меня свежие мысли.
Artisan, т.е. запрос документов?
делаем скрытую ссылку ссылку на скрипт, ловим всех ботов.
Некоторые броузеры могут предварительно запрашивать все документы и скрытые линки тоже которые доступны с того документа который уже загрузился для ускорения последующего перехода на них то есть действовать как робот но такой предварительный запрос можно отличить от обычного, ...
Artisan, Спасибо за коментарий,
можно примеры таких браузеров?
Artisan, возможно вы имеете в виду results prefetching, так это работает только в связке Google+Mozilla.
Я немного ковырялся в теории, но на практике с этим механизмом не сталкивался.