- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Подскажите пожалуйста, каким образом можно снизить активность бота яндекса на сайте? Пробовал crawl-delay: 7 в robots.txt - не помогает. Может увеличить значение? Но обработает ли робот яндекса значения 100, 200, 300? Просто у нас трафик платный.
Пробовал crawl-delay: 7 в robots.txt - не помогает.
В каком смысле? Робот не выдерживает эти интервалы?
Может ограничить индексируемые области на сайте? PDF документы, другие крупные файлы есть?
И где такой ужас, как платный трафик? Может просто сменить хостинг?
Может поставить nginx ещё?
С радостью сменили бы, если бы не одно НО))) Наш сервер живет в Беларуси. А там по указу президента, все ком сайты должны располагаться на серверах Белтелекома. А у них внешний трафик платный, около 1.3$ за Гб. Поэтому и ищу решение проблемы.
Сейчас поставил запрет на индексацию всех картинок на сайтах. А можно ли настроить так, чтобы бот ходил только по новым страницам (где-то тут похожая тема проскакивала, правда давно уже)?
krotov.dima добавил 11.01.2011 в 16:03
Может поставить nginx ещё?
Стоит уже давно. У нас ВПС.
Сидишь и думаешь как бы свалить из сраной рашки, да навсегда, а тут такое. Эх, кому-то не слаще, чем нам. Сорри за оффтоп, надеюсь поддержал.
ps А пользоваться только омывайкой сделанной из картошки еще указа не было?
Ох болван я. Похоже разобрался. Только вот вопрос о макс значении crawl-delay остается открытым. По остальным вопросам разобрался. Ошибся я в расчетах.
krotov.dima добавил 11.01.2011 в 16:17
Сидишь и думаешь как бы свалить из сраной рашки, да навсегда, а тут такое. Эх, кому-то не слаще, чем нам. Сорри за оффтоп, надеюсь поддержал.
ps А пользоваться только омывайкой сделанной из картошки еще указа не было?
Не исключено! Знаете, мы тут перестали удивляться абсурду)))))))
сайт не часто обновляется?? я бы поставил 300 секунд и посмотрел бы логам что происходит ...
Rimlyanin добавил 11.01.2011 в 18:12
а что бы ходит только по новым страничкам, то надо заголовки правильные отдавать...
P.S. И нельзя вынести сайт за пределы белоруссии??
чтобы бот ходил только по новым страницам
Можно попробовать порыть насчет If-Modified-Since и кода 304 .
Ну и сложите картинки и крупные документы в отдельные папки, запретите вообще их индексацию.
И проверьте, как работает crawl-delay: , удваивайте значение и наблюдайте пару дней за логами.
мне тут сейчас знакомые подсказали, что ставили на сайт задержку в 1800, потому что все равно дна новая статья в неделю. Работало...
сайт не часто обновляется?? я бы поставил 300 секунд и посмотрел бы логам что происходит ...
Rimlyanin добавил 11.01.2011 в 18:12
а что бы ходит только по новым страничкам, то надо заголовки правильные отдавать...
P.S. И нельзя вынести сайт за пределы белоруссии??
Уважаемый, читайте мой ответ выше ))))
А у них внешний трафик платный, около 1.3$ за Гб.
В 2007 г у Яндекса стартовал проект по организации точек пиринга по регионам, чтобы трафик пользователей к сервисам Яндекса был бесплатным и не тарифицировался.
Они организовали свои каналы по крупным городам и подключились к точкам бесплатного обмена трафиком (у нас в РФ это узлы IX).
Напишите в Яндекс на noc@yandex.net - может у них есть подобные точки пиринга в Болорусии.
И ещё вопрос - а DNS сервера обязательно размещать в Белтелекоме или нет? А то есть ещё вариант решения проблемы через зеркала сайта.