Все вопросы по robots.txt - Страница 5 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Старый 30.12.2013, 03:37   #41
-= Serafim =-
Moderator
 
Регистрация: 10.12.2006
Сообщений: 19,077
Репутация: 1839303

По умолчанию Re: Robots.txt

http://searchengines.guru/showthread.php?t=828288
-= Serafim =- вне форума   Ответить с цитированием

Реклама
Старый 30.12.2013, 03:38   #42
Yuto
Аспирант
 
Аватар для Yuto
 
Регистрация: 24.12.2009
Сообщений: 102
Репутация: -4212
Отправить сообщение для Yuto с помощью ICQ
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Robots.txt

Цитата:
Сообщение от аrmagedon Посмотреть сообщение
Disallow: */vorota/* - выплюнет из индекса всё, содержащее в своем URL /vorota/
Мне нужно все, кроме 4 страниц
/vorota/rulonnye-vorota/
/vorota/raspashnye-vorota/
/vorota/otkatnye-vorota/
/vorota/podemno-sektsionnye-vorota/
__________________
Web-студия Seven Portal - продвижение и создание сайтов, поддержка, SEO-оптимизация сайта. Дополнительные услуги: полиграфия и создание фирменного стиля.
Yuto вне форума   Ответить с цитированием
Старый 30.12.2013, 03:42   #43
Yuto
Аспирант
 
Аватар для Yuto
 
Регистрация: 24.12.2009
Сообщений: 102
Репутация: -4212
Отправить сообщение для Yuto с помощью ICQ
Социальные сети Профиль в ВКонтакте

Exclamation Re: Все вопросы по robots.txt

Здравствуйте, форумчане.

Я совсем запутался читая мануалы Яндекса и Google о том, как правильно составить свой robots.txt
Меня интересует не совсем стандартный вопрос, с основами robots все ясно, а вот как быть если:
1. Я хочу заблокировать раздел http://vorota-style.ru/vorota/ и все что заканчивается после /vorota/ЛЮБОЙ РАЗДЕЛ/, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd.
2. Но при этом мне нужны все разделы (выдели жирным) /vorota/ЛЮБОЙ РАЗДЕЛ/

Подскажите как быть, очень нужна ваша помощь, а то Яша иногда индексирует такие страницы, как, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd, причем она идентична http://vorota-style.ru/vorota/
Yuto вне форума   Ответить с цитированием
Старый 30.12.2013, 04:45   #44
webrock
Академик
 
Аватар для webrock
 
Регистрация: 05.04.2010
Сообщений: 3,878
Репутация: 457779
Отправить сообщение для webrock с помощью ICQ

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от Yuto Посмотреть сообщение
Здравствуйте, форумчане.

Я совсем запутался читая мануалы Яндекса и Google о том, как правильно составить свой robots.txt
Меня интересует не совсем стандартный вопрос, с основами robots все ясно, а вот как быть если:
1. Я хочу заблокировать раздел http://vorota-style.ru/vorota/ и все что заканчивается после /vorota/ЛЮБОЙ РАЗДЕЛ/, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd.
2. Но при этом мне нужны все разделы (выдели жирным) /vorota/ЛЮБОЙ РАЗДЕЛ/

Подскажите как быть, очень нужна ваша помощь, а то Яша иногда индексирует такие страницы, как, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd, причем она идентична http://vorota-style.ru/vorota/
так будет запрещена к индексации директория dd

Disallow: /vorota/ЛЮБОЙ РАЗДЕЛ/*dd*

но если у вас директория кирилическая, то есть ЛЮБОЙ РАЗДЕЛ, да и ещё пробел
между словами, то это приведёт к синтаксической ошибке.

ну, а если ЛЮБОЙ РАЗДЕЛ не брать во внимание, то на примере, что бы закрыть
директорию dd будет так:

Disallow: /vorota/*dd*
webrock вне форума   Ответить с цитированием
Старый 30.12.2013, 08:12   #45
seout
Аспирант
 
Аватар для seout
 
Регистрация: 31.08.2007
Сообщений: 129
Репутация: 26611

По умолчанию Re: Robots.txt

кроме disallow есть директива allow, вот и используйте её для нужных 4-х страниц.
seout вне форума   Ответить с цитированием
Старый 30.12.2013, 09:58   #46
sasha_mtrx
Профессор
 
Регистрация: 02.07.2007
Адрес: Kazan
Сообщений: 664
Репутация: 48223
Отправить сообщение для sasha_mtrx с помощью ICQ Отправить сообщение для sasha_mtrx с помощью Skype™
Социальные сети Дневник на Я.ру Профиль в ВКонтакте

По умолчанию Re: Robots.txt

Disallow: /vorota/
allow: /vorota/*
Disallow: /vorota/*/*

проверяйте должно сработать
__________________
найди путь для использования мира под свои нужды
продается завод пищевой промышленности в Свердловской области!
sasha_mtrx вне форума   Ответить с цитированием
Старый 30.12.2013, 10:52   #47
sisers
Буддист
 
Аватар для sisers
 
Регистрация: 19.12.2005
Адрес: Moscow | Thailand | Goa
Сообщений: 197
Репутация: 6352
Отправить сообщение для sisers с помощью ICQ Отправить сообщение для sisers с помощью Skype™

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

Мне как раз нужно, чтобы сама главная страницы категории индексировалась, а товары нет.
В категории, более 1000 товаров, поэтому прописывать каждую страницу не вариант.
__________________
У меня есть тайное знание. А у Вас???
Интернет маркетинг
sisers вне форума   Ответить с цитированием
Старый 30.12.2013, 15:28   #48
hypnoise
Дипломник
 
Регистрация: 25.12.2013
Сообщений: 79
Репутация: 18321

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

sisers, смотри подсказки гугла и яндекса по robots, там всё внятно рассказано и есть примеры того, что вас интересует В частности использование спецсимволов и allow и порядок этого использования.
hypnoise вне форума   Ответить с цитированием
Старый 30.12.2013, 16:06   #49
sisers
Буддист
 
Аватар для sisers
 
Регистрация: 19.12.2005
Адрес: Moscow | Thailand | Goa
Сообщений: 197
Репутация: 6352
Отправить сообщение для sisers с помощью ICQ Отправить сообщение для sisers с помощью Skype™

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

Цитата:
Сообщение от hypnoise Посмотреть сообщение
sisers, смотри подсказки гугла и яндекса по robots, там всё внятно рассказано и есть примеры того, что вас интересует В частности использование спецсимволов и allow и порядок этого использования.
Спасибо, кэп .
Ты случаем у Навального советником не работал. А то я смотрю, у тебя очень содержательные ответы .
sisers вне форума   Ответить с цитированием
Старый 30.12.2013, 17:56   #50
hypnoise
Дипломник
 
Регистрация: 25.12.2013
Сообщений: 79
Репутация: 18321

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

sisers, пожалуйста, кэп. Исходя из условий в первом твоем посте, первый же ответ (мой) полностью им соответствует.
Если ты по человечески, структурно с примером папки и страницы напишешь, что тебе нужно индексировать, а что - нет - возможно я смогу нормально из вновь открывшихся условий дать тебе пример. Кэп.
hypnoise вне форума   Ответить с цитированием
Ответ

Метки
https, robots, robots.txt, seo, ssl сертификат, wordpress, алиасы, запрет, поддомены, роботс, товар




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 08:16. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны