- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Интересует данный вопрос в свете обнаружения клоакинга.
Обязаны ли поисковики во всех своих скриптах включать обращение к robots.txt или нет?
Кто-нибудь встречался с тем, что по его сайту прошелся робот и не посмотрел robots.txt?
Никто не обязан руководствоваться правилами robots.txt, потому что это рекомендация, но все же основная масса старается их выполнять, так как могут просто закрывать доступ "некультурным" роботам.
Воспользуйтесь поиском по форуму, здесь много раз обсуждалась данная тема.
Если я правильно понял, вы опасаетесь что паук не спросив robots.txt зайдет под видом браузера с какого-то левого ip. Легенды конечно есть, что такое существует, но по-моему это все лишь легенды и паранойя. ИМХО лучше особо не париться и работать по ip, а то и вообще по user-agent!~/Mozilla/, если речь не о супер-секретных данных ;)
Запросто. Один паук спрашивает robots.txt, а другой в соответствии с ним страницы обходит. IP могут быть разные, UA как правило "похожи с начала строки".
Однако, не всё то робот, что robots.txt запрашивает...
Леш, а вот такой User-agent тебе знаком:
Mozilla/5.0 (Slurp/cat;slurp@inktomi.com;http://www.inktomi.com/slurp.html) ? ;)
Запросто. Один паук спрашивает robots.txt, а другой в соответствии с ним страницы обходит. IP могут быть разные, UA как правило "похожи с начала строки".
Однако, не всё то робот, что robots.txt запрашивает...
А кто-нибудь реально сталкивался с подобным?
Что роботы могут не смотреть robots.txt это понятно, т.к. это только рекомендации. Но, насколько я понимаю, это так же и правила хорошего тона, корректность что-ли... Кто-нибудь встречался с "некорректным" поведением роботов поисковиков? В частности, интересует Яндекс.
Кто-нибудь встречался с "некорректным" поведением роботов поисковиков? В частности, интересует Яндекс.
В частности, у яндекса есть такие роботы (которых они роботами упорно не считают), которые на robots.txt ложили :) По этому поводу не так давно уже был топик.
Я не то имел ввиду. У некоторых поисковиков далеко не один бот. Зачем закачивать один и тот же robots.txt несколько раз разными ботами?