- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
т.е. перечислил ты ботов, дальше что с ними апач делает?
Вот я как чувствовал, что что-то не хватает. Что должно быть то? Наверно это
десять раз "да"
plattoo, Спасибо, есть еще добрые люди. Вот я лоханулся, никогда с этим хтассесом не дружил.
"GET / HTTP/1.0" 301
В логе все запросы на одну главную страницу / с редиректом.
1. Редирект нормально отрабатывает? Не сам на себя редиректит?
2. Такой запрос не должен грузить сервер.
3. В любом случае, правильно, что забанили majestic12 :)
Dimka, это небольшая часть лога, вообще этот бот слал запросы каждую секунду с разных IP.
Кстате, чуть не забыл, а ето че за зверь,
тоже грузил по несколько запросов в секунду
Список от профессионалов
Sergi0k, спасибо, взял на заметку, если предыдущие меры не помогут, буду пробовать этот. Кстати, сам такой хтассес не перегрузит апач?
robots.txt? вы че там курите?
да обоссывали боты ваш robots.
Речь шла об этом роботе - MJ12bot - он учитывает то, что написано в robots.txt
http://www.majestic12.co.uk/projects/dsearch/mj12bot.php
Sergi0k, спасибо, взял на заметку, если предыдущие меры не помогут, буду пробовать этот. Кстати, сам такой хтассес не перегрузит апач?
Вот мой список
Sergi0k, спасибо, взял на заметку, если предыдущие меры не помогут, буду пробовать этот. Кстати, сам такой хтассес не перегрузит апач?
если тулить на каждый домен, то на раз-два, поэтому поэтому правила доступа указывать в конфиге апача, чтобы один раз при старте подгружались и все.