Форум Практика оптимизации Любые вопросы от новичков по оптимизации

закрыть сайт от индексации

12
J
На сайте с 18.06.2007
Offline
158
Junost
1116

Приветствую.

Хочу закрыть свой сайт от индексации в ненужных мне поисковиках, которые показывают бэки (яху, мсн, и какие-то еще). Знаю, что это можно сделать через робот.тхт, но не знаю, что там нужно прописать. Скиньте plz пример роботса с закрытыми поисковиками (уверен, что у многих такой роботс есть))

Skie
На сайте с 14.10.2006
Offline
161
Skie
#1

http://robotstxt.org.ru/

J
На сайте с 18.06.2007
Offline
158
Junost
#2

Skie, Спасибо, изучу на досуге. Но я попросил готовый пример с уже закрытой индексацией, если не жалко, конечно))

S
На сайте с 15.01.2008
Offline
34
stack
#3
User-agent:Вставляешь имя бота
Disallow: /

Готовая схема .

Качественный хостинг Unlimits Telecom (http://www.unlimits.ru) (ООО "БизнесТелеКом"). Официальный Twitter канал (http://twitter.com/untelecom). Ознакомиться с нашими услугами можно в этом (/ru/forum/478822) топике.
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#4

Не жалко: :)

User-Agent: Yahoo! Slurp
Disallow: /

User-Agent: msnbot
Disallow: /

User-Agent: (какой-то еще)
Disallow: /

User-Agent: *
Disallow:
- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
J
На сайте с 18.06.2007
Offline
158
Junost
#5

Цахес, Thanks))

осталось выяснить имена ботов, которые показывают беки)

SK
На сайте с 31.01.2005
Offline
72
SerK
#6

Junost, ну так наоборот, разрешите нужным роботам, а остальные запретите.

Если контент русский, список основных здесь: http://robotstxt.org.ru/rurobots

Форум "ПолитДиалог" (http://forum.politdialog.ru/): мы не правые, не левые, не за власть, не против нее. Мы - граждане России, все зависит только от нас! С уважением, Сергей Кротов.
R
На сайте с 23.12.2007
Offline
30
Ryoga
#7 

User-Agent: Yahoo! Slurp

Disallow: /



User-Agent: msnbot

Disallow: /

+ 

User-agent: Webalta

Disallow: /
.
K
На сайте с 31.01.2001
Offline
737
Kost
#8

Junost, думаете, что если вы закроете сайт от индексации, то поисковик перестанет показывать его беки?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
DMA
На сайте с 26.12.2007
Offline
61
DMA
#9
Kost:
Junost, думаете, что если вы закроете сайт от индексации, то поисковик перестанет показывать его беки?

тоже хотел задать этот вопрос.

Vadik'One
На сайте с 30.04.2007
Offline
54
Vadik'One
#10

Kost - а что проблема не решается через робота?

you will be number one
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий