- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет. Недавно я купил домен и начал вести блог. Конечно мне было интресно попадет ли мой блог в поиск Google. Я начал смотреть тематические запросы в Google и обнаружил, что везде попадаются страницы Хабра и в основном в директории "search" . Обычно сайты поиск закрывают от индексации и по этому меня это удивило. Я посмотрел их robots.txt и обнаружил следующие
User-agent: Google
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: habrahabr.ru
Но такого агента у Google нет. Агент ведь называется Googlebot
По этому весь поиск съел Google.
Зачем это сделано? Может я чего то не знаю? Или просто на Хабре ошиблись и теперь боятся поправить так как потеряют трафик?
Всем привет. Недавно я купил домен и начал вести блог. Конечно мне было интресно попадет ли мой блог в поиск Google. Я начал смотреть тематические запросы в Google и обнаружил, что везде попадаются страницы Хабра и в основном в директории "search" . Обычно сайты поиск закрывают от индексации и по этому меня это удивило. Я посмотрел их robots.txt и обнаружил следующие
User-agent: Google
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: habrahabr.ru
Но такого агента у Google нет. Агент ведь называется Googlebot
По этому весь поиск съел Google.
Зачем это сделано? Может я чего то не знаю? Или просто на Хабре ошиблись и теперь боятся поправить так как потеряют трафик?
мне кажется, что основна масса найдет этот форум даже без поисковиков)
мне кажется, что основна масса найдет этот форум даже без поисковиков)
какой форум?
Или просто на Хабре ошиблись и теперь боятся поправить так как потеряют трафик?
Обычная ошибка.
Бояться тут нечего и некого.
Да и вообще robots составлен делетантом:
Ибо директива Host не поддерживается ни googlebot'ом, ни slurp.