- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую всех. Делаю очередной сайт для клиента, второй день сайту, не добавлял не метрику, не в вебмастер сайт. Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров). И уже сегодня наблюдаю, что все страницы попали в поиск Яндекса. Это новые алгоритмы по индексации такие, что только созданный сайт сразу попал в поле зрения ботов для индексации? Поделитесь схожим опытом, если он имеется.
У купить нормальный хостинг не судьба?
У купить нормальный хостинг не судьба?
Причем тут хостинг. Речь идет о том, что индексация настолько быстрая и страницы сканируются моментально, без добавления куда-либо. Во вторых трафика по несколько ГБ в сутки по боту. В третьих на этом "хостинге" стоит сайт, который выдерживал 40к посещений без каких-либо проблем и сейчас спокойно выдерживает 1-2к в сутки.
Причем тут хостинг. Речь идет о том, что индексация настолько быстрая и страницы сканируются моментально, без добавления куда-либо. Во вторых трафика по несколько ГБ в сутки по боту. В третьих на этом "хостинге" стоит сайт, который выдерживал 40к посещений без каких-либо проблем и сейчас спокойно выдерживает 1-2к в сутки.
Так и пиши что все нормально, а ты пишешь
" вчера начал ложиться сайт с ошибкой превышения лимитов сервера"
Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров).
Рекламу Директа уже начали использовать? C месяц (или чуть более) разбирали похожий пример на форуме, где после запуска РК в Директе был передоз по активности Яндекс ботов.
Вопрос решился после подключения сотрудника Яндекса и персонального разбора ситуации.
Параллельно проверьте по логам сервера точно ли используемые IP относятся к ботам Яндекса.
Приветствую всех. Делаю очередной сайт для клиента, второй день сайту, не добавлял не метрику, не в вебмастер сайт. Ситуация такая, вчера начал ложиться сайт с ошибкой превышения лимитов сервера, покопался в логах и увидел, что поисковые боты атаковали сайт просто нереально (выгрузил 500 товаров). И уже сегодня наблюдаю, что все страницы попали в поиск Яндекса. Это новые алгоритмы по индексации такие, что только созданный сайт сразу попал в поле зрения ботов для индексации? Поделитесь схожим опытом, если он имеется.
в разделе вебмастера есть опция , по какой скорости боту ходить на ваш сайт .
Быстробот - он всегда был .
Проблема тут либо в ресурсах сервера либо в оптимизации ваших запросов .
К примеру , на моих сайтах боты делают примерно 30 запросов в секунду и это никак не сказывается на производительности .
Параметры 4 ядра 3.1 Ггц, 8 оперативы, centos, apache, mariadb 10.1, innoDB . Загрузка сервера примерно 40%
Рекламу Директа уже начали использовать? C месяц (или чуть более) разбирали похожий пример на форуме, где после запуска РК в Директе был передоз по активности Яндекс ботов.
Вопрос решился после подключения сотрудника Яндекса и персонального разбора ситуации.
Параллельно проверьте по логам сервера точно ли используемые IP относятся к ботам Яндекса.
Нет. Вообще никаких инструментов не было использовано для рекламы или продвижения.
в разделе вебмастера есть опция , по какой скорости боту ходить на ваш сайт .
Быстробот - он всегда был .
Проблема тут либо в ресурсах сервера либо в оптимизации ваших запросов .
К примеру , на моих сайтах боты делают примерно 30 запросов в секунду и это никак не сказывается на производительности .
Параметры 4 ядра 3.1 Ггц, 8 оперативы, centos, apache, mariadb 10.1, innoDB . Загрузка сервера примерно 40%
Да, но на моей памяти ещё не было, чтобы сайт чуть больше чем за сутки появился в Яше и все новые товары/записи появляются в течение пары часов.
Вообще никаких инструментов не было использовано для рекламы или продвижения.
сайт чуть больше чем за сутки появился в Яше и все новые товары/записи появляются в течение пары часов.
Возможно (browser.yandex.ru) используете,
или ещё что-то из Yandex полезностей.
Во вторых трафика по несколько ГБ в сутки по боту.
А как вы поняли, что это именно бот Яндекса? Айпи точно яндексовский?
В третьих на этом "хостинге" стоит сайт, который выдерживал 40к посещений без каких-либо проблем и сейчас спокойно выдерживает 1-2к в сутки.
Это от сайта зависит. На одном и том же хостинге два разных сайта могут вести себя очень по-разному: один будет 40к в сутки выдерживать, другой при 1k будет постоянно лежать. Посмотрите вот тут графу «Число HTTP-запросов» и сравните проблемный сайт с тем сайтом, который выдерживал 40k в сутки.
в разделе вебмастера есть опция , по какой скорости боту ходить на ваш сайт .
Есть такая опция, но трогать её не нужно.
Возможно (browser.yandex.ru) используете,
или ещё что-то из Yandex полезностей.