- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Прописал
User-Agent: Slurp
Disallow: /
НЕ ПОМОГЛО. ЯХУ все равно заходит на форум. Есть ли другие методы?
del
10 символов
Хостинг hostgator, делаем выводы.
Это ни о чем не говорит, у многих крупных хостеров и hostgator тоже, фишечка такая, много понаобещать, все unlimited, а как только небольшая нагрузка пойдет сразу вырубают хостинг и начинают навязывать VPS :)
создайте xml карту и скормите ее поисковикам, как правило аппетит спадает
Я так борюсь
robots.txt
User-agent: *
Crawl-delay: 1
А кто не соблюдает - в бан на время, Яндекс там два разы был, Yahoo там по умолчанию.
Вы построже с Яндексом, два дня ему мало, еженедельно в баню-самое то)
TC, на каком движке у вас сайты, что их так полюбили боты Гугла и Яхи?
.
CodeIgniter - Open source PHP web application framework.
Оф. сайт: codeigniter.com
CodeIgniter по-русски: code-igniter.ru
ТС тоже такое было у меня 2гб трафа сьели боты :) Я на них денях не накоплю.
Если есть боты продайте их дорвейщикам :)
Такой маленький трафик с поисковиков, а хостер заблокировал? Значит хостер — говно.
Можете полюбоваться на мою статистику (с серверов server2.serv5msk.ru и server2.southparkrus.ru)
Кто в теме, тот знает, что на серверах только видео-файлы (файлопомойка) без визуального веб-контента. Боты ходят по посещаемым сайтам, натыкаются на мои ссылки и скачивают файлы к себе :D.
Никаких проблем не было. Сервер dedicated на Hetzner.
http://i020.radikal.ru/1005/ea/bff288c53638.png
http://s45.radikal.ru/i109/1005/52/cf9d420a0f1d.png