- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Как можно запретить индексацию всем поисковикам кроме Yahoo?
Я сделал так: прописал в robots.txt
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
User-agent: Slurp
Crawl-delay: 10
Но бот гугла всеравно сканирует мой сайт.
mamonic добавил 03.03.2009 в 14:37
Или это надо в .htaccess всех банить?
У вас ашыпко в роботс.
User-agent: Slurp
Disallow:
Crawl-delay: 10
User-agent: *
Disallow: /
Спасибо. Так в этом было дело? Просто сделал так как вы написали, но гугл всеравно сканирует :-)
но гугл всеравно сканирует
А что имеется ввиду под словом сканирует? Появляются страницы в индексе?
Заходит и открывает страницы.
mamonic добавил 03.03.2009 в 15:02
Просто я думал, что если запретить индексацию то и сканировать по идее не должен. видимо я не прав :-))
Просто я думал, что если запретить индексацию то и сканировать по идее не должен. видимо я не прав :-))
Не правы ;)
Короче говоря нужно в .htaccess нежелательных банить да?
mamonic, если оно Вам надо, то да. Только если Вы потом резко решите, что не можете жить без гугла, то может уже поздно быть - Вашу нишу займут конкуренты (причем могут с Вашим же контентом).
предполагаю что это мера из-за того что трафик платный и боты поисковиков хавают? если так то выгодней хостинг сменить.. могу ошибаться