- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Где-то в факе Яндекса есть пункт "Вы перегружаете мой сервер"
di_max, статика не получится ... информация постоянно обновляется ...
Фря + Апачь 1.3.х? Тогда посмотреть стОит, что в MaxRequestPerChild, MinSpaceServer и MaxSpaceServer...
Линухи + Апачь 2.х? Тогда смотри про потоки... А то небось только и знает, что потоки с процессами перебрасывает между процами и ядрами...
А в общем - вздуть сисадмина, что сервер конфигурачил, во все... апдейты. 😂
Ага, и смотрит вебмастер в логи и не налюбуется: "Яндекс, миленький, это ты? Ой какой у тебя сегодня аппетит, умница! Кушай, родной, кушай. Я и сервачек помощней куплю, чтоб тебя накормить и не упасть.."
А на другом конце провода сидит пианер с Телепортом и ехидно ухмыляется;]
Тогда - вебмастер полный лох! Раз "своего" Яшу в IP не знает....🚬
Где-то в факе Яндекса есть пункт "Вы перегружаете мой сервер"
Ага, там кажется написано, запретите индексацию через robots и мы от Вас отстанем :)
Да не, вроде на мыло пишите
Реально ведь возможна бага, что разные сервера одни и теже страницы запрашивают, ничего в мире не совершенно
Вот тогда расплавленное сало из серверов и начинает капать; пишите в техподдержку Яндекса
А яндекс как часто robots.txt запрашивает? Есть информация?
Просто в рамках топика, во время повышения нагрузки можно было бы иногда выдавать robots.txt с запретом, а во время снижения с разрешением.
А яндекс как часто robots.txt запрашивает? Есть информация?
Просто в рамках топика, во время повышения нагрузки можно было бы иногда выдавать robots.txt с запретом, а во время снижения с разрешением.
Не получится, определенная инерционность присутствует в выполнении директив изменненого роботса, и вообще корявый способ
FreeMarket,
Почитал-почитал о вашей проблеме, так и не понял. Что значит
не могу понять почему гугловские роботы и другие не делают нагрузку
Можно оперировать цыфрами. Трафик туда/обратно. Частота заходов, что и как запрашивается.
Кибернетика, как и математика, оперирует цыфрами.
Даже простенький комп(не специальный сервак) нормально выдерживает до 10 000-12 000 конектов в секунду, с общим трафом до 3.5 Мб/сек.(в идеальных условиях). Все остальные "тормаза" и "висяки" это, как правило, криво настроенный сервак/скрипт/sql
Если, как Вы утверждаете, виновен только робот яши, посмотрите чем его запросы (и ответы ему) отличаются от гуглевких, рамовых и т.д. Ответ придет сам.
Просто в рамках топика, во время повышения нагрузки можно было бы иногда выдавать robots.txt с запретом, а во время снижения с разрешением.
Тогда сайты повыпадают из поиска. Нагрузки точно не будет. :)
ТС может кинешь в личку пару урлов, сайтики посмотреть.
Попробуйте отдавать роботу 304 вместо 200, если страница давно не менялась.