- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
не пойму никак, параметр Allow: работает только для Яндекса?
это
User-agent: *
Allow: /dir1/index.htm
Allow: /dir2/index.htm
Allow: /dir3/index.htm
Allow: /index.htm
Disallow: /
сработает?
я хочу чтоб все поисковики видели только 4 индекса, а остальное - нет
подскажите плз...
не пойму никак, параметр Allow: работает только для Яндекса?
это
User-agent: *
Allow: /dir1/index.htm
Allow: /dir2/index.htm
Allow: /dir3/index.htm
Allow: /index.htm
Disallow: /
сработает?
я хочу чтоб все поисковики видели только 4 индекса, а остальное - нет
подскажите плз...
только для яндекса.
А в чем проблема? закрываем от индексации все что не нужно, а то что нужно оставляем.
User-agent: *
Disallow: закрыть
Disallow: закрыть
Disallow: закрыть
Disallow: закрыть
и.тд
не пойму никак, параметр Allow: работает только для Яндекса?
Параметр Allow работает для того робота, что прописан в UserAgent. В вашем случае * - любой робот.
Подробнее:
http://robotstxt.org.ru/
http://help.yandex.ru/webmaster/?id=996567
Параметр Allow работает для того робота, что прописан в UserAgent. В вашем случае * - любой робот.
Подробнее:
http://robotstxt.org.ru/
http://help.yandex.ru/webmaster/?id=996567
Не вводите людей в заблуждение.
Allow только для яндекса!
я хочу чтоб все поисковики видели только 4 индекса
А может быть без индекс.хтмл индексить-то?
Нет, не только, ещё и для Гугля.
Но Рамблер про Allow вроде пока ещё не говорил ничего, поэтому лучше запретите всем (User-agent: *) то, чего не стоит индексить. см #2
Вообще-то параметр Allow описан в официальном протоколе файла robots.txt: http://www.robotstxt.org/norobots-rfc.txt
separated by blank lines. The records consist of a set of lines of
the form:
<Field> ":" <value>
In this memo we refer to lines with a Field "foo" as "foo lines".
The record starts with one or more User-agent lines, specifying
which robots the record applies to, followed by "Disallow" and
"Allow" instructions to that robot.
Значит, вежливые роботы его обязаны соблюдать
только для яндекса.
А в чем проблема? закрываем от индексации все что не нужно, а то что нужно оставляем.
User-agent: *
Disallow: закрыть
Disallow: закрыть
Disallow: закрыть
Disallow: закрыть
и.тд
закрывать много придется
вот так же сработает? я не ошибаюсь?
--------------------------------------
User-agent: Yandex
Allow: /dir1/index.htm
Allow: /dir2/index.htm
Allow: /dir3/index.htm
Allow: /index.htm
Disallow: /
User-agent: Googlebot
Allow: /dir1/index.htm
Allow: /dir2/index.htm
Allow: /dir3/index.htm
Allow: /index.htm
Disallow: /
-----------------------------------
Voc, если у Вас новый, еще не проиндексированный сайт, то можно, например внести в имена всех папок, которые надо будет закрыть от роботов нечто общее и в будущем новые имена формировать с учетом принятого правила.
Например, папки "Ivan", "Masha", "Roman" станут папками "__Ivan", "__Masha", "__Roman".
А в robots.txt просто добавите правило:
User-Agent: *
Disallow: /__
Voc, если у Вас новый, еще не проиндексированный сайт, то можно, например внести в имена всех папок, которые надо будет закрыть от роботов нечто общее и в будущем новые имена формировать с учетом принятого правила.
Например, папки "Ivan", "Masha", "Roman" станут папками "__Ivan", "__Masha", "__Roman".
А в robots.txt просто добавите правило:
User-Agent: *
Disallow: /__
да нет..не получится..
конечно, я уже думал об этом...сайт старый, страниц много и там слишком большой бардак, чтоб его разгребать..
п.э. мне и надо запретить все кроме 4х страниц