- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
http://www.google.com/webmasters/faq.html
11. How do I block all crawlers except Googlebot from my site?
The following robots.txt file will achieve this for all well-behaved crawlers.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
И ведь немало вебмастеров, которые так и сделали.
Свинство такие советы давать, не правда ли?
Почему свинство? Вопрос - как закрыть от всех роботов, кроме Googlebot. Разве ответ неправильный дается?
Работать может и будет, но обратите внимание на постановку вопроса !
;)
Почему свинство? Вопрос - как закрыть от всех роботов, кроме Googlebot. Разве ответ неправильный дается?
Я бы сказала, дело не в ответе, дело - в вопросе. :)
Почему свинство? Вопрос - как закрыть от всех роботов, кроме Googlebot. Разве ответ неправильный дается?
Там на странице два десятка правильных советов. Среди которых аккуратно спрятан еще один. Тоже "правильный".
Как говорят: "Тебя комар укусил? А ты его тоже укуси! :)"
Вы так же можете сделать Гуглю...
11. How do I block all crawlers except Yandex bot from my site?
LOL :-)
Забавно. Можно сказать, что готов себя стукнуть пяткой в грудь, но когда мы обсуждали Host: директивы Allow я не видел.
Странным кажеться постановка вопроса...
сомневаюсь, что им частенько такие вопросы присылают...
если ответ на рельный частый вопрос то ещё ладно,
но вообще согласен свинство.
Конечно роботов сейчас много развелось траффик частенько попусту жрут, но такие советы давать это... хоть бы с формулировкой помягче сделали типа включите нужные вам поисковики...
Гы. То же и получится - директиву Allow только Гугль понимает.
директиву Allow только Гугль понимает
гм незнал спасибо... ну думаю хоть кто-то всё таки понимает...
ну хоть было бы создателям других се над чем подрудиться :)