- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Стал замечать, что сканирование роботами форума моего сайта стало тормозить сервер. Сегодня утром поставил стандартного робота с записью:
User-Agent: *
Disallow: /speak/
Disallow: /photos/
Первая папка - форум и все его файлы (форум на mySQL).
Вторая - папка с фотогалереями (файлы шаблонов и сами картинки).
Вечером заметил, что с адреса 81.176.67.106 StackRambler/2.0 (MSIE incompatible) прекрасно читается все то, что я запретил :(((
Вот пример прямо с экрана (апачевский status):
31-6 - 0/0/382 . 0.17 14803 210 0.0 0.00 1.93 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=72996&forumid=1 HTTP/1.0
32-6 - 0/0/288 . 0.15 14807 183 0.0 0.00 1.32 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=73025&forumid=1 HTTP/1.0
33-6 - 0/0/188 . 0.16 14807 181 0.0 0.00 0.81 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=73003&forumid=1 HTTP/1.0
34-6 - 0/0/149 . 0.13 14807 169 0.0 0.00 0.40 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=73008&forumid=1 HTTP/1.0
Что не так? И как быть?
Ждать чуть-чуть. Скорее всего Rambler просто еще индексирует в соответствии со старым robots.
Ops ... а я наивно полагал, что боты должны каждый раз проверять robots.txt прежде чем забирать что-либо. Выходит это не так?
Яндекс долго пинали за оное - исправился ...