- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Подскажите пожалуйста, каким образом можно снизить активность бота яндекса на сайте? Пробовал crawl-delay: 7 в robots.txt - не помогает. Может увеличить значение? Но обработает ли робот яндекса значения 100, 200, 300? Просто у нас трафик платный.
Пробовал crawl-delay: 7 в robots.txt - не помогает.
В каком смысле? Робот не выдерживает эти интервалы?
Может ограничить индексируемые области на сайте? PDF документы, другие крупные файлы есть?
И где такой ужас, как платный трафик? Может просто сменить хостинг?
Может поставить nginx ещё?
С радостью сменили бы, если бы не одно НО))) Наш сервер живет в Беларуси. А там по указу президента, все ком сайты должны располагаться на серверах Белтелекома. А у них внешний трафик платный, около 1.3$ за Гб. Поэтому и ищу решение проблемы.
Сейчас поставил запрет на индексацию всех картинок на сайтах. А можно ли настроить так, чтобы бот ходил только по новым страницам (где-то тут похожая тема проскакивала, правда давно уже)?
krotov.dima добавил 11.01.2011 в 16:03
Может поставить nginx ещё?
Стоит уже давно. У нас ВПС.
Сидишь и думаешь как бы свалить из сраной рашки, да навсегда, а тут такое. Эх, кому-то не слаще, чем нам. Сорри за оффтоп, надеюсь поддержал.
ps А пользоваться только омывайкой сделанной из картошки еще указа не было?
Ох болван я. Похоже разобрался. Только вот вопрос о макс значении crawl-delay остается открытым. По остальным вопросам разобрался. Ошибся я в расчетах.
krotov.dima добавил 11.01.2011 в 16:17
Сидишь и думаешь как бы свалить из сраной рашки, да навсегда, а тут такое. Эх, кому-то не слаще, чем нам. Сорри за оффтоп, надеюсь поддержал.
ps А пользоваться только омывайкой сделанной из картошки еще указа не было?
Не исключено! Знаете, мы тут перестали удивляться абсурду)))))))
сайт не часто обновляется?? я бы поставил 300 секунд и посмотрел бы логам что происходит ...
Rimlyanin добавил 11.01.2011 в 18:12
а что бы ходит только по новым страничкам, то надо заголовки правильные отдавать...
P.S. И нельзя вынести сайт за пределы белоруссии??
чтобы бот ходил только по новым страницам
Можно попробовать порыть насчет If-Modified-Since и кода 304 .
Ну и сложите картинки и крупные документы в отдельные папки, запретите вообще их индексацию.
И проверьте, как работает crawl-delay: , удваивайте значение и наблюдайте пару дней за логами.
мне тут сейчас знакомые подсказали, что ставили на сайт задержку в 1800, потому что все равно дна новая статья в неделю. Работало...
сайт не часто обновляется?? я бы поставил 300 секунд и посмотрел бы логам что происходит ...
Rimlyanin добавил 11.01.2011 в 18:12
а что бы ходит только по новым страничкам, то надо заголовки правильные отдавать...
P.S. И нельзя вынести сайт за пределы белоруссии??
Уважаемый, читайте мой ответ выше ))))
А у них внешний трафик платный, около 1.3$ за Гб.
В 2007 г у Яндекса стартовал проект по организации точек пиринга по регионам, чтобы трафик пользователей к сервисам Яндекса был бесплатным и не тарифицировался.
Они организовали свои каналы по крупным городам и подключились к точкам бесплатного обмена трафиком (у нас в РФ это узлы IX).
Напишите в Яндекс на noc@yandex.net - может у них есть подобные точки пиринга в Болорусии.
И ещё вопрос - а DNS сервера обязательно размещать в Белтелекоме или нет? А то есть ещё вариант решения проблемы через зеркала сайта.