- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Проблема такая - есть сайт который почему то очень активно сканирует гуглебот, и соответственно грузит мой аккаунт вероятно. Хостер присылает отчёты по нагрузке каждый вечер, и там мрак! Для выяснения причин включил из ПУ аккаунта скрипт статистики Awstats и вижу что в принципе весь основной трафф идёт от гуглебота. Например за 1 и 2 марта уникальных посетилей было 707, визитов 900, количество просмотренных страниц 3802, хиты 25282, трафик 167 мегабайт. И за это же время Гугл имел 12890 хитов и трафф 522 мегабайта. В инструментах вебмастера статистика показывает почему то намного меньший трафик - среднее количество страниц в день 330, трафф 3.5 метра. Врёт статистика или кто то маскируется под бота гугля? И как уменьшить нагрузку до приемлиемого уровня?
Crawl-delay в robots.txt
PS. может кто-то просто вас парсит?
Crawl-delay в robots.txt поставил давно. Пауза в 5 секунд. Но почему то в инструментах вебмастера Гугл на эту команду ругается - пишет что не принимает этот стандарт.
По поводу парсинга - как его вычислить? У меня в логах иногда показывало что заходит граббер, но это бывает редко. Может кто то научился маскировать под Гугл грабберы?
Как вариант:
Инструменты для веб-мастеров > Настройки > Частота сканирования > Задать пользовательскую скорость сканирования
GAMMA, посмотрите ипы, с которых ходит "гуглбот" ;)
Смотрел там, там скорость как раз при которой максимум страниц 300 в сутки можно просканировать. Что то просто никак не сходится - настройки и статистика с реальными данными которые берутся из логов обращений к серверу.
GAMMA добавил 03.03.2009 в 00:32
GAMMA, посмотрите ипы, с которых ходит "гуглбот" ;)
Тоже совпадает с их заявленными для ботов IP, их там несколько.