- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
'Googlebot/2.1 (+http://www.googlebot.com/bot.html)' Уже второй месяц непрерывно сканирует мой сайт (используя от 2 до 20 нитей). Теперь к нему присоеденился 'msnbot/0.11 (+http://search.msn.com/msnbot.htm)' - ведет себя также уже вторую неделю. Гнать их совсем понятно не хочется, но и так оставлять нельзя (от них получаются неприятные последствия). Что делать?
Какие непрятные последствия?? Кроме того, что вас будут находить в этих поисковиках. Если вы хотите, чтоб "ни ЦРУ, ни ФБР..." вас не нашли, тогда стоит запретить индексацию в файле robots.txt
Я специально написал, что гнать их не хочу. А хочу чтобы они не блудили. Яндекс то нормально мой сайт сканирует, а с этими проблема.
Я специально написал, что гнать их не хочу. А хочу чтобы они не блудили. Яндекс то нормально мой сайт сканирует, а с этими проблема.
Телепатов нет... В чем ненормальность ? Что значит "блудили" ?
Они каждой нитью по нескольку десятков раз в день просматривают каждую страницу моего сайта - очень сомневаюсь что это нормально.
(мне кажется достаточно один раз просмотреть каждую страницу и через какое-то количество дней это повторять, но зачем же сканировать непрерывно?)
Сайт в студию.
p.s. Небось сессий до .... Яндекс посмотрел на это дело, скачал пару тысяч страниц за несколько заходов, и забил, а эти пашут, как проклятые... И виноваты в этом конечно гугль и мсн :(
www.gameclubsite.com
про количество сессий пожалуйста поподробнее - я не понял что это значит. (и можно ли с этим бороться)
А сесии тут при чем? У меня на старом движке сесий было достаточно много и все ок было!
про количество сессий пожалуйста поподробнее - я не понял что это значит.
http://www.yandex.ru/yandsearch?serverurl=www.gameclubsite.com
Вы уверены, что у вас на сайте действительно 12000 страниц?
Это действительно до ..., как метко заметил Miha Kuzmin ;)
&tmppass=845407936 - это что за фигня? Зачем роботу Яндекса выдаются какие-то длинные непонятные цифири?
См. также http://www.yandex.ru/info/webmaster7.html
(нет на сайте примерно в 100 раз меньше страниц)
Движок сайта требует авторизациию
Тем кто нехочет(неможет) регистрироваться/авторизоваться присваиваются временные логин и пароль.
Логин пароль передаются через GET поэтому присутствуют ссылке Яндекса
(если кто-то зайдет по такой ссылке то получит другой логин и будет с ним пока не авторизуется или не уйдет) Яндекс при одном сканировании пользуется одним логином. Google, msn получают по одному логину на каждую нить, но все равно нить не получает новый логин и должна закончиться просмотрев сайт один раз.
Мне не понятно, как выдавать всем роботам один конкретный логин если многие роботы не отличимы от броузеров?
Это какие же неотличимы?
Основные можно пересчитать по пальцам одной руки, и придется с ними считаться. В первую очередь - это Яндекс. Спутать их с броузером сложно. А движок придется шлифовать, если поисковые машины вам нужны.