- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В последние дни обратил внимание, что по вечерам как-то стала нагрузка расти на одном серваке.
Путём нехитрых изысканий обнаружил, что грузит робот гугла. В среднем, 15 запросов в секунду.
Ну, это среднее значение, исходя из 55 тыс запросов в час. А так, иногда по 25 запросов в секунду сразу с нескольких айпишников. Причём, долбит по самым нагружающим скриптам. Всё по одному сайту. На остальных сайтах - стандартные 2-3 запроса в секунду.
Интересно, это летнее обострение или конкретный сайт впал в милость(или немилость) у Гугла?
Кто-нибудь ещё наблюдает подобное?
Я просто боюсь, что если такая же петрушка начнётся на всех локализованных версиях этого сайта, серваку придётся туговато :D
IP точно гугла?
Он, родимый...
Кстати, уже 29 запросов в секунду :)
Гугл не распрознает ограничение на кол-во запросов в секунду в роботсе?
Гугл не распрознает ограничение на кол-во запросов в секунду в роботсе?
Он игнорирует Crawl-delay.
О чём, кстати, пишет в вмт.
Возможен такой вариант:
Например, если в одну из клеток таблицы вставить формулу
=image("http://example.com/image.jpg")
Google отправит паука FeedFetcher скачать эту картинку и закэшировать для дальнейшего отображения в таблице.
Однако если добавлять случайный параметр к URL картинки, FeedFetcher будет скачивать её каждый раз заново. Скажем, для примера, на сайте жертвы есть PDF-файл размером в 10 МБ. Вставка подобного списка в таблицу приведет к тому, что паук Google скачает один и тот же файл 1000 раз!
=image("http://targetname/file.pdf?r=1")
=image("http://targetname/file.pdf?r=2")
=image("http://targetname/file.pdf?r=3")
=image("http://targetname/file.pdf?r=4")
...
=image("http://targetname/file.pdf?r=1000")
Все это может привести к исчерпанию лимита трафика у некоторых владельцев сайтов. Кто угодно, используя лишь браузер с одной открытой вкладкой, может запустить массированную HTTP GET FLOOD-атаку на любой веб-сервер.
Подробнее на Хабре.
Не, он просто тупо жуёт страницы. Без всяких паразитных параметров.
На сайте много миллионов страниц и разгуляться там есть где.
возможное решение закрыть от гугла ваши тяжелые скрипты, все равно они скорее всего не несут информационного окраса.
Ещё как несут.
Тогда кэширование ставить.
Тогда кэширование ставить.
Всё кэшируется. Уже половину из 256 гиг в кэше. И в данный момент нет проблем. ЛА 5-6 на 32 процах кагбе ниочём. Я просто боюсь, что ещё 200 миллионов страниц в кэш точно не влезет.
Да и попадание в кэш в этом случае минимальное. Он же всё время разные страницы поедает.