- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А в чем опасность? Вы считаете, что 5 - это слишком мало? Или как...
Индексация, конечно, дело хорошее, но вот были времена, когда гугл с товарищами msn и yahoo опрокидывали сайт по несколько раз в день. Поэтому приходиться выбирать оптимальное решение.
P.S. Хотя возможно придется обращаться к спецу. Чего-то вы уж совсем запугали.
crawl-delay
crawl-delay
Это первое, что сделал.
=================================
User-agent: *
Crawl-delay: 60
User-agent: Slurp
Crawl-delay: 1500
User-agent: Twiceler
Crawl-delay: 1500
User-agent: StackRambler
Crawl-delay: 50
User-agent: dotbot
Disallow: /
=================================
Кстати, по-поводу бесконечных заходов с Яндекса на мой сайт. Платон отписался: "не волнуйтесь. С вашим сайтом ничего не будет.".
Однако подозрения начинают оправдываться. В соседней ветке - вроде аналогичная ситуация. Видимо, кто-то тестирует алгоритм, с помощью которого можно будет валить сайты конкурентов.
у меня подобные проблемы уже 1.5 года.
в хтаксесс задолбался писать.
В РНР поставил условие если ломает, пишу в куки на 10 мин, в начале идет проверка на этот кук, если ок, вывожу козлу пустую страницу.
Мне кажется есть база сайтов, которые постоянно пытаются ломать. Сайты туда попадают и возможно навсегда.
И еще если у вас будет страница с адресом /forum тогда проверяйте логи
Еще вот хотел спросить.
В логах частенько появляются записи:
[Wed Sep 14 03:50:37 2011] [error] [client 93....49] (36)File name too long: Cannot map GET /registration+[PLM=0][R]+GET+registration+[0,31484,32697]+->+[R]+POST+registration+[0,0,32731]+->+[L]+GET+forum?id=1+%5B3390,0,26241%5D HTTP/1.0 to file, referer: registration+%5BPLM=0%5D%5BR%5D+GET+registration+%5B0,31484,32697%5D+-%3E+%5BR%5D+POST+registration+%5B0,0,32731%5D+-%3E+%5BL%5D+GET+forum?id=1+%5B3390,0,26241%5D
Это и есть попытки взлома? Или это глюки движка?
P.S. Кстати, кто писал, что цепочка для iptables не поможет. Оказался прав. Стали появляться записи, где кто-то пытается 10-12 раз в секунду подключится. Один раз ему так и удалось свалить сервер. Но на 90% все равно цепочка работает. С чем связано, фиг поймешь.