- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Помогите разобраться… Зачем нужны следующие User-agent:
-twiceler
-CazoodleBot
-WebInject
-Slurp
-IRLbot
-gigabot
-TuritinBot
-psbot
-kmSearchBot
К каким поисковым системам они относятся????
http://www.user-agents.org/ - здесь есть ответы на все ваши вопросы
Yahoo Slurp - кто такой? что-то не нашел в этом списке
Yahoo Slurp - кто такой? что-то не нашел в этом списке
Это понятное дело робот Yahoo (поисковой системы Yahoo)... более подробно о нем можно почитать тут
Да, и вообще в бан его надо если сервер критично относится к процессорной нагрузке... :) За всю историю существования моих сайтов, только 1 раз видел, как кто-то с выдачи яху зашел ко мне (запрос тематический)
что-то косяком пошли, ещё гугл с апортом топчутся🙄
http://www.user-agents.org/ - здесь есть ответы на все ваши вопросы
Спасибо! Добавлено в закладки :)
Вот что нашла (может кому пригодится):
Twiceler is an experimental robot (http://www.cuill.com/robots.html)
Turnitin (ex SlySearch) robot for helping educational institutions prevent plagiarism (http://www.turnitin.com/robot/crawlerinfo.html)
CazoodleBot/CazoodleBot-0.1 (http://www.cazoodle.com/)
IRLbot IRL-crawler - Texas A&M University research project crawler (http://irl.cs.tamu.edu/)
gigabot (http://gigablast.com/)
psbot (http://www.picsearch.com/)
сведенья о данных ботах взяты из robots.txt одного из сайтов... Интерестно зачем ему надо было их прописывать? Неужели http://gigablast.com/ и http://www.picsearch.com/ настолько часто используются?