- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
wolf
У Вас что-то плохо с английским языком (может, это просто к концу рабочей недели?)
...by retrieving a document and recursively retrieving all documents that are referenced.
Т.е. обход ссылок - обязательное свойство.
Дальнейшее добавление по поводу рекурсивности же, скажем так, по-русски означает, что
a) Немедленная загрузка документов, на которые ссылается только что загруженный, не является обязательным свойством робота, т.е. можно и потом.
b) Робот может применять к ссылкам некоторые эвристики, в т.ч. не обязательно, на самом деле, даже засасывать все документы, на которые стоит ссылка в исходном.
- а можно чужим влезть? :)
Придется повториться в третий раз, и расписать все подробно.
Есть инет-магазин, и в нем ввод заказа в форму с кнопкой, которая оформляет заказ и радостно выдает страницу с параметрами заказа (типа "заказ удался, вам выставлен счет с таким-то номером и тд, запомните его!"). Человеку лень это запоминать, и он заносит страницу в закладки. А надо сказать, что параметры по глупости пересылали методом get, и они в урле присутствуют, и в закладках эта страница появилась. Опять-же, кеширование было вечное у этой страницы, поэтому повторные заходы броузеров никого не беспокоили. А о поисковых системах не думали - они же в форму данные подставлять не умеют. Ну, на всякий случай закрыли robots.txt.
И что же? Вот вам и вред от вашего робота, многократно выполняющего скрипт. Ситуация придуманная, но более чем реальная. Каждый "заказ" ведет к затратам времени=денег на бессмысленное переругивание с бывшим заказчиком. Аргументы типа "можно анализировать заголовки" - не годятся, ибо создатели сайта ничего НЕ ОБЯЗАНЫ делать.
Упоминалась ситуация с проверкой ссылок в каталогах. Но в каталог страницы по доброй воле заносят, и не имеют против, если происходит проверка.
wolf
...Webopedia...
В стандарте robots.txt обсуждаются как-бы web-роботы, которые мешают спокойно жить web-мастерам.
euhenio
Во-первых, за 10 минут можно поправить скрипт так, чтобы после оформления заказа делался редирект 302 на страничку "заказ принят", с исходными параметрами.
Во-вторых, это что же получается, ID пользователя тоже параметром скрипта передается? А как же безопасность? Любой желающий из referer'а его узнает, и, будучи в веселом настроении, пойдет еще Вам что-нибудь закажет :). Такой магазин вообще не имеет права существовать (кстати, меня несколько мутит вообще от форм заказа без https).
-Ну так как, Яндекс берется за помощь всем, у кого эта проблема возникла? Бесплатно? :) Давайте договоримся, что свои проблемы они решать будут сами, а проблемы Яндекса пусть решает Яндекс.
-передаются, например, Фио и контактные данные с пометкой "срочно перезвоните мне, и мы обсудим там чего-то". Это заказ, а не покупка - оплаты пока нет.
И все же, вред я показал. В данном случае Яндекс создаст проблемы этому сайту, при этом "все что могли" в плане robots.txt они сделали.
-Скорее уж, не имеет право существовать робот Закладок :)
(кстати, меня несколько мутит вообще от форм заказа без https).
Однако Яндекс.Деньги на Озоне продаются без всяких https =)
Чтож не повлияли?
Кстати вы к сожалению так и не ответили по сути задачи.
Дело в том, что у многих хостеров как в России, так и на западе в
экономных планах просто нет возможности разместить свой .htaccess.
Тоесть вы рекомендуете подобным провайдерам забанить заходы
роботов Яндекса через фаэрвол?
Могу ли я ссылаться на данную вашу рекомендацию, как позицию Яндекса
по данному вопросу?
Тоесть вы рекомендуете подобным провайдерам забанить заходы
роботов Яндекса через фаэрвол?
Вы с ума сошли ! Где я это говорил ? :)
Зачеркните немедленно !!!
В тексте предагались типичные скриптовые решения. Чем Вам не нравится идея запрещать нулевой реферер ? А более жесткая проверка на "правильный список" рефереров ?
a) Немедленная загрузка документов, на которые ссылается только что загруженный, не является обязательным свойством робота, т.е. можно и потом.
Я бы интерпретировал немножко иначе:
а) Загрузка документов, на которые ссылается только что загруженный, не является обязательным свойством робота, т.е. можно и не загружать ни немедленно, ни потом.
Вот-вот. не обязательно засасывать все документы, на которые стоит ссылка в исходном в частном случаем может иметь ситуацию не засасывать документы, на которые стоит ссылка в исходном.
Так что не надо грешить на мой английский.
Вы с ума сошли ! Где я это говорил ? :)
Чуть выше по топику:
08-08- 2002 18:21
Пароль поставить не получится, нет такого пункта на этом тарифе.
Да и провайдер преемлет только глобальные решения. Сделал и забыл.
Зачеркните немедленно !!!
Вы как нибудь определитесь =)
В тексте предагались типичные скриптовые решения. Чем Вам не нравится идея запрещать нулевой реферер ? А более жесткая проверка на "правильный список" рефереров ?
Хостинг простых страничек. $15 в год. Никаких CGI, никакого .htaccess.
Зато размер сайта до 150 мег.
Собственно занято мег 135 под html & немного image ..