- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
В robots.txt стоит
User-agent: Yandex
Disallow: /
Однако нечто приходит с IP 213.180.193.35
Mozilla/4.0 (compatible; MSIE 5.0; YANDEX)
И дергает HEAD.
Не подскажете, что это может быть?
Если робот, то почему ему плевать на robots.txt?
Если это человек, то почему он делает лишь HEAD,
да и как он это может делать с помощью браузера?
Хароший robots.txt ;)
С таким user-agent приходит робот закладок, чтобы проверить, не помер ли ещё сайт, на который закладка.
В такой сложной ситуации можно посоветовать забанить все Ip, имеющие отношение к Яндексу через .htaccess
Гмм 213.180.192.0/20? =)
Как хорошо, когда всё в одном месте =)
2 iseg:
А может быть всётаки можно как-то заставить этого
робота сболюдать правила?
А может быть всётаки можно как-то заставить этого
робота сболюдать правила?
Сразу припомнился прошлогодний конфликт Яндекса с ТопПингом, когда Яндекс предъявлял претензии к топпинговскому метапоисковому роботу за несоблюдение им яндексовского файла robots.txt. А сами, значит... Блин, в который раз Яндекс демонстрирует двойные стандарты
Свидетель wolf, Вы закладки.яндекс.ру видели ?
Поглядите, а потом соберитесь с мыслями и сформулируйте вменяемое сообщение об ошибке, которое будет обосновывать пользователю невозможность установить букмарку на ясно видимую страничку. В случае успеха, не забудьте поделиться этим текстом и с производителями IE.
Имеется таки две большие разницы между поисковым пауком и фэйворитс-рефрешем.
Самая большая из них это то, что Z-подвид паука не индексирует, а проверяет свежесть ссылки.
С Уважением,
В.Иванов
А кого это ёжит? Нельзя - значит, нельзя! Например, я закрыл от индексации ссылки определенного вида, нажатие на которые означает покупку в и-магазине, а чел занес это дело в закладки. И что? будет регулярно генериться по заказу с параметрами этого юзера? Неудобно-с.
Скрипту-то все равно, HEAD запрос или GET, он отрабатывает и делает заказ.
Имеется таки две большие разницы между поисковым пауком и фэйворитс-рефрешем.
Самая большая из них это то, что Z-подвид паука не индексирует, а проверяет свежесть ссылки.
Нет абсолютно никакой разницы.
Приходит робот.
А для всех роботов, что-бы они не делали правила одни.
robots.txt
Робот игнорирующий их поступает как минимум не вежливо.
Поясните пожалуйста, что подразумевается под словом "робот".
Вопрос м.б. глупый, но все же.
Мне нужно взять информацию из области закрытой в robots.txt
Броузером я залезть могу спокойно.
Скриптом, настроенным по таймеру - нельзя.
А вот тот же скрипт запущенный вручную будет считаться роботом?
IE - не робот, а если его посчитать роботом, и заставить выполнять robots.txt, то тогда, увы, почти никто не сможет воспользоваться поиском на Яндексе ;). А то, что приходит с IP 213.180.193.35 - робот и должно соблюдать robots.txt, чтобы оно там ни делало.
Самая большая из них это то, что Z-подвид паука не индексирует, а проверяет свежесть ссылки.
С Уважением,
В.Иванов
Уважаемый В.Иванов!
Не означает ли это, что если подвид паука не индексирует, то соблюдение robots.txt не обязательно?
Ха! Намекаете, Вячеслав, на то, что Ваш робот, из-за которого разгорелся прошлогодний сыр-бор с Яндексом тоже не был индексирующим? ;) Парируйте, В.Иванов!