- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
сайт стал мноооого кушать трафика, хотелось бы его как-то уменьшить, при этом, что бы посетители не страдали как это можно сделать?
есдь идея блокировать большинство мелких забугорных поисковиков. на сколько это эфективно?
спасибо.
Попробуй запретить поисковикам лазить куда попало, качать картинки,
Попробуй оптимизировать код страниц, убрать лишинии пробелы, это позволит процентов на 15 уменьшить траффи
попробуй gzip включить
Блокировать буржуйскую поисковую мелочь - полезно, т.к. с них пользы нет, а трафик кушают. Но этого иногда мало. Тогда может быть ещё такое дело: смылшёные товарищи делают сайты, которые налету дёргают контент с других сайтов. Короче, можно заметить, что с определённого IP-адреса (кстати, адреса хостера) начинают активно качать Ваши страницы. Недолго поглядев, можно найти, какой именно дор питается Вашим контентом. Но толк не в том, что найти дор, а в запрете для данного IP - и трафик экономится (часто, буржуйский), и дор гробится.
Да и вообще, надо ставить простенькие антифлудеры, чтобы в автоматическом режиму убивать. Я делаю примерно так: все, кто не поисковый робот, если сделали больше 10 запросов к html-странице за секунду, больше 100 запросов за минуту или больше 3000 запросов за час, попадают в бан на 10 секунд, 10 минут и 10 часов соответственно. Такой способ худо-бедно защищает от начинающих воров контента, хотя смысл, конечно, в другом.
спасибо за советы.
а может есть у кого список не нужных забугорных поисковиков, что бы запретить их в robots.txt?
что бы самому на это не тратить внемя?
спасибо.
на сколько грамотно для решения этой проблемы вот такое
User-agent: *
Disallow: /
User-Agent: Yandex
Disallow: /admin/
User-Agent: Aport
Disallow: /admin/
User-Agent: Mail.ru
Disallow: /admin/
User-Agent: Rambler
Disallow: /admin/
User-Agent: Google
Disallow: /admin/
User-Agent: MSN
Disallow: /admin/
User-Agent: Yahoo
Disallow: /admin/
или в моем понимании пробел?:)
Miracle, так Вы запрещаете лазить по корневой (??) и /admin/
Нужно сделать так:
User-Agent: *
Disallow: /admin/
- это для всех.
Как уже сказал Serboy, строчки
User-agent: *
Disallow: /
запрещают индексацию всего сайта всем, что странно.
Вернее было бы написать примерно так:
User-agent: Yahoo! Slurp
Disallow: /
User-agent: msnbot
Disallow: /
и т.д. (определитесь со списоком ботов, которые Вам не нужны)
Проще всего сделать это, посмотрев статистику по юзерагентам за месяц (кто много качает, того и запрещать в robots.txt).
да.да я уже понял свою ошибку, я сделал обратное . запретил индексацицю всего сайта...
купи лучше хостинг с большим трафом - рано или поздно тебе придётся это сделать....
http://dedic.ru/node/39 - читать тут
Я делаю примерно так: все, кто не поисковый робот, если сделали больше 10 запросов к html-странице за секунду, больше 100 запросов за минуту или больше 3000 запросов за час, попадают в бан на 10 секунд, 10 минут и 10 часов соответственно
А собственно как вы отделяете мух от котлет? Пожалуйста просвятите в данном топике.