- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Неделю назад забанил по user_agent бота, который представлялся как "Mozilla/5.0 (compatible; SearchBot)" и создавал большую нагрузку. Удивился бедной фантазии грабера.
Сегодня посмотрел логи - бот до сих пор долбится об стену.
Посмотрел по whois:
descr: OJSC Rostelecom
descr: Electronic government of the Russian Federation
Погуглил, нашел новость на Роеме и тему на Сёрче от 2011 года.
Госпоисковик? Уже работает для кого-то или до сих пор делают?
Разбанили хоть агента электронного правительства? 😂
мило, наверно стучится хочет видео пособирать в узкой нише для правящей верхушки, и потом наверное траслитесь в гос думу для народных избранников
Разбанили хоть агента электронного правительства?
Нет. Я разрешаю качать только полезным ботам, которые потом дают трафик. А что даст этот поисковик?
Забанить его по ip и юзерагенту и все дела.
Нет. Я разрешаю качать только полезным ботам, которые потом дают трафик. А что даст этот поисковик?
А откуда уверенность, что с этого поисковика трафика потом не будет?
Вот когда начнется массовое использование данного поисковика, тогда можно и разбанить.
А откуда уверенность, что с этого поисковика трафика потом не будет?
ну так когда вот тут этот поисковик появится в окрестностях рамблера, тогда и можно его пускать на сайт, но думаю врятли это вообще когда-либо случится, потому предпочитаю активно блокировать всякие говнопоисковики и парсеры, поверьте, этого того стоит, нагрузка снижается десятикратно, экономя десятикратно на аренде серверного железа и хостингах, а также повышая стабильность работы сайта, чтоб сайт по пол дня не лежал, пока его насилует очередной "поисковик"....
ну так когда вот тут этот поисковик появится в окрестностях рамблера, тогда и можно его пускать на сайт, но думаю врятли это вообще когда-либо случится, потому предпочитаю активно блокировать всякие говнопоисковики и парсеры, поверьте, этого того стоит, нагрузка снижается десятикратно, экономя десятикратно на аренде серверного железа и хостингах, а также повышая стабильность работы сайта, чтоб сайт по пол дня не лежал, пока его насилует очередной "поисковик"....
А более свежего списка ботов нет?
А более свежего списка ботов нет?
лучше смотреть логи своего сайта и оттуда добавлять самых активных по юзер агенту или (если он максируется именем обычного браузера) по ip
На хабре очень правильные комментарии
http://habrahabr.ru/post/133839/
"В .htaccess не разбираюсь, это правильная настройка?
Order Allow,Deny
Allow from All
Deny from 109.207.0.0/20"
"Новый дефолтный файл .htaccess для отечественных веб-разработчиков и админов."
Я так и поступил.