- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет. Недавно я купил домен и начал вести блог. Конечно мне было интресно попадет ли мой блог в поиск Google. Я начал смотреть тематические запросы в Google и обнаружил, что везде попадаются страницы Хабра и в основном в директории "search" . Обычно сайты поиск закрывают от индексации и по этому меня это удивило. Я посмотрел их robots.txt и обнаружил следующие
User-agent: Google
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: habrahabr.ru
Но такого агента у Google нет. Агент ведь называется Googlebot
По этому весь поиск съел Google.
Зачем это сделано? Может я чего то не знаю? Или просто на Хабре ошиблись и теперь боятся поправить так как потеряют трафик?
Всем привет. Недавно я купил домен и начал вести блог. Конечно мне было интресно попадет ли мой блог в поиск Google. Я начал смотреть тематические запросы в Google и обнаружил, что везде попадаются страницы Хабра и в основном в директории "search" . Обычно сайты поиск закрывают от индексации и по этому меня это удивило. Я посмотрел их robots.txt и обнаружил следующие
User-agent: Google
Crawl-delay: 2
Disallow: /search/
Disallow: /js/
Disallow: /css/
Disallow: /special/
Host: habrahabr.ru
Но такого агента у Google нет. Агент ведь называется Googlebot
По этому весь поиск съел Google.
Зачем это сделано? Может я чего то не знаю? Или просто на Хабре ошиблись и теперь боятся поправить так как потеряют трафик?
мне кажется, что основна масса найдет этот форум даже без поисковиков)
мне кажется, что основна масса найдет этот форум даже без поисковиков)
какой форум?
Или просто на Хабре ошиблись и теперь боятся поправить так как потеряют трафик?
Обычная ошибка.
Бояться тут нечего и некого.
Да и вообще robots составлен делетантом:
Ибо директива Host не поддерживается ни googlebot'ом, ни slurp.