- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Тема скорее всего уже мусолена, но нормальных рекомендаций не увидел
95.108.142.138 - - [21/Dec/2010:10:32:35 +0300] "GET / HTTP/1.0" 200 5112 "-" "-"
95.108.142.138 - - [21/Dec/2010:10:32:35 +0300] "GET / HTTP/1.0" 200 5110 "-" "-"
95.108.142.138 - - [21/Dec/2010:10:32:34 +0300] "GET /robots.txt HTTP/1.0" 200 517 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)"
95.108.142.138 - - [21/Dec/2010:10:32:34 +0300] "GET /robots.txt HTTP/1.0" 200 517 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)"
95.108.142.138 - - [21/Dec/2010:10:32:35 +0300] "GET / HTTP/1.0" 200 5110 "-" "-"
95.108.142.138 - - [21/Dec/2010:10:33:00 +0300] "GET / HTTP/1.0" 200 5112 "-" "-"
перенес сайт на другой домен более месяца назад, до сих пор лазил зеркальщик и пару раз заходил основной бот. а теперь еще боты без юзерагента пошли. Я понимаю что кто то юзерагент может подменить для каких то целей, но не на зеркальщика же? Склоняюсь к тому, что это реальные боты яндекса.
Вот и думаю, стоит ли запретить доступ ботам без юзерагента? Сайт белый
На то он и хитробот, может с любым юзерагентом прийти, не только с пустым
Яндекс проверяет на клоакинг
я так понимаю, что у яндекса официально про этих ползунков нигде не написано, и без юзер агента может завалиться любой спамбот или парсер. И за закрытие сайта от таких пауков по идее никаких санкций быть не должно. или я не прав?
ТС, это паранойя... ничто не мешает задать пауку поле юзер агент...
И за закрытие сайта от таких пауков по идее никаких санкций быть не должно. или я не прав
Теоретически нет, практически хитробот найдет как зайти, например поставит в референс не поисковый запрос, а просто пустую строчку или какой-нибудь левый сайт типа закладок или вконтакте и заполнит юзер агент реальными данными (ИМХО).
Даже если это и не Яшины боты, я бы всё равно не стал закрывать.
Всем спасибо, вопрос закрыт, всех с наступающим!:)