- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот нашёл в логах апача такую строку- ( робот дельфин- жующие по несколько гиг трафика в месяц, непонятно вообще зачем он нужен..если он нереальный)..
[25/Oct/2009:01:52:01 +0400] "GET /robots.txt HTTP/1.0" 200 1246 "-" "Mozilla/5.0 (compatible; Dolphin/1.0; +http://telehouse.ru/crawler.html)"
по данной ссылке:
You can reduce Dolphin Crawler by placing this line to robots.txt:
User-agent: Dolphin
crawl-delay: 10
or disable it
User-agent: Dolphin
Disallow: /
То есть чтобы его закрыть надо-
User-agent: Dolphin
Disallow: /
Вопрос в следующем, если в robots.txt уже есть такая фраза:
User-agent: *
Disallow: /address_book_process.php
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_edit_process.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /address_book.php
Disallow: /checkout_process.php
То есть для всех агентов- запрещаются такие-то файлы или папки..а потом ниже будет
User-agent: Dolphin
Disallow: / - будет ли это значит что именно жирный и толстый Дельфин не будет индексировать сайт, а остальные будут?
Да, все верно. Тем самым вы закрываете индексацию только для этого робота
спасибо большое
Не исключен вариант, что роботу будет начхать на это:)