Все вопросы по robots.txt - Страница 4 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 25.12.2013, 15:25   #31
stardel
Академик
 
Регистрация: 18.09.2009
Адрес: Санкт-Петербург
Сообщений: 1,307
Репутация: 14713
Отправить сообщение для stardel с помощью ICQ Отправить сообщение для stardel с помощью Skype™

По умолчанию Re: Все вопросы по robots.txt

всем привет) как правильно избаиться от дублей в Джумла 2.5. Виртуе март 2.0.? Так:
Disallow: /*?
stardel вне форума   Ответить с цитированием

Реклама
Старый 26.12.2013, 20:20   #32
avtomastersu
Студент
 
Аватар для avtomastersu
 
Регистрация: 25.12.2010
Адрес: Харьков обл
Сообщений: 23
Репутация: 10
Отправить сообщение для avtomastersu с помощью ICQ Отправить сообщение для avtomastersu с помощью Skype™
Социальные сети Страница в Одноклассниках Профиль в ВКонтакте Профиль в LinkedIn

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от Dombrov Посмотреть сообщение
По вопросам robots.txt отдельный топик, поэтому продолжение из данной закрытой темы http://searchengines.guru/showthread...=827897&page=2
Сообщение от Dombrov Посмотреть сообщение
Может вот так?
Disallow: /*2*/
allow: /*2*-*/

Первый запрещает все с цифрой два. А второй разрешает из них если стоит -. Если исходить из вашей структуры то /число/ старые страницы, а новые могут быть /число-/, а такие как раз разрешаем.

avtomastersu: Спасибо, очень интересное предложение. А не существует правила, одного для всех цифр, что бы не вставлять 2, 5, 78 и т. д., много их там таких.
Или так нельзя?

Для всех не знаю, но достаточно до 9.
Disallow: /*1*/
allow: /*1*-*/
Disallow: /*2*/
allow: /*2*-*/
Disallow: /*3*/
allow: /*3*-*/
и так далее до 9 и все. Указывать двухзначные числа или трехзначные не надо. Он ищет символ, например 2, и находит его как в 250 так и 320.
Нигде не мог решить. Спасибо Dombrov, все сработало.
__________________
Добавить ориг. статью, сайт, объявление в katalogclub.ru
avtomastersu вне форума   Ответить с цитированием
Старый 27.12.2013, 13:12   #33
sisers
Буддист
 
Аватар для sisers
 
Регистрация: 19.12.2005
Адрес: Moscow | Thailand | Goa
Сообщений: 197
Репутация: 6352
Отправить сообщение для sisers с помощью ICQ Отправить сообщение для sisers с помощью Skype™

По умолчанию Настройка robots.txt (как запретить индексацию в каталоге)

Нужно запретить индексацию внутри каталога, но чтобы индексировалась главная страница.

Т.е. domen.ru/category/ должна индексироваться
А domen.ru/category/tovar1/, domen.ru/category/tovar2/ и т.п. запретить к индексации.

Как это правильно прописать в robots.txt?
__________________
У меня есть тайное знание. А у Вас???
Интернет маркетинг
sisers вне форума   Ответить с цитированием
Старый 27.12.2013, 14:51   #34
hypnoise
Дипломник
 
Регистрация: 25.12.2013
Сообщений: 79
Репутация: 18321

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

Disallow: /category/tovar
при этом если вы хотите, чтобы например /category/tovar123.php индексировался, то такой пример не пройдет.
hypnoise вне форума   Ответить с цитированием
Старый 27.12.2013, 15:26   #35
Ripro
Академик
 
Аватар для Ripro
 
Регистрация: 04.11.2006
Сообщений: 1,043
Репутация: 111825

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

sisers, Категории нужно продвигать, а не закрывать от индексации
Ripro вне форума   Ответить с цитированием
Старый 27.12.2013, 15:34   #36
hypnoise
Дипломник
 
Регистрация: 25.12.2013
Сообщений: 79
Репутация: 18321

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

Ripro, ну может у него cms кучу дублей делает
sisers, только учтите, что иногда поисковики кладут болт на disallow.
hypnoise вне форума   Ответить с цитированием
Старый 27.12.2013, 15:53   #37
Linara
продаю подписи на форумах
 
Аватар для Linara
 
Регистрация: 20.11.2010
Сообщений: 83
Репутация: 18343

По умолчанию Re: Настройка robots.txt (как запретить индексацию в каталоге)

они просто делают свое черное дело! Информация правит миром и не важно как при этом добыта.
__________________
Ручное размещение статей в каталогах по вашей цене.
Linara вне форума   Ответить с цитированием
Старый 30.12.2013, 03:12   #38
Yuto
Аспирант
 
Аватар для Yuto
 
Регистрация: 24.12.2009
Сообщений: 102
Репутация: -4212
Отправить сообщение для Yuto с помощью ICQ
Социальные сети Профиль в ВКонтакте

Exclamation Robots.txt

Здравствуйте, форумчане.

Я совсем запутался читая мануалы Яндекса и Google о том, как правильно составить свой robots.txt
Меня интересует не совсем стандартный вопрос, с основами robots все ясно, а вот как быть если:
1. Я хочу заблокировать раздел http://vorota-style.ru/vorota/ и все что заканчивается после /vorota/ЛЮБОЙ РАЗДЕЛ/, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd.
2. Но при этом мне нужны все разделы (выдели жирным) /vorota/ЛЮБОЙ РАЗДЕЛ/

Подскажите как быть, очень нужна ваша помощь, а то Яша иногда индексирует такие страницы, как, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd, причем она идентична http://vorota-style.ru/vorota/
__________________
Web-студия Seven Portal - продвижение и создание сайтов, поддержка, SEO-оптимизация сайта. Дополнительные услуги: полиграфия и создание фирменного стиля.
Yuto вне форума   Ответить с цитированием
Старый 30.12.2013, 03:23   #39
аrmagedon
Кандидат наук
 
Аватар для аrmagedon
 
Регистрация: 01.07.2009
Адрес: Приднестровье
Сообщений: 260
Репутация: 38365
Отправить сообщение для аrmagedon с помощью ICQ Отправить сообщение для аrmagedon с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Robots.txt

В Яндекс.вебмастере есть инструмент проверки роботса, если в чем-то сомневаетесь - юзайте его.

Disallow: */vorota/* - выплюнет из индекса всё, содержащее в своем URL /vorota/
если просто Disallow: /vorota/ - тогда ваш_сайт/vorota/ и все вложенные каталоги и страницы будут запрещены.

Вообще читайте http://help.yandex.ru/webmaster/cont...robots-txt.xml тут инфы с головой!
аrmagedon вне форума   Ответить с цитированием
Старый 30.12.2013, 03:35   #40
Yuto
Аспирант
 
Аватар для Yuto
 
Регистрация: 24.12.2009
Сообщений: 102
Репутация: -4212
Отправить сообщение для Yuto с помощью ICQ
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Robots.txt

Цитата:
Сообщение от аrmagedon Посмотреть сообщение
Вообще читайте http://help.yandex.ru/webmaster/cont...robots-txt.xml тут инфы с головой!
прочел весь и только после сюда обратился, т.к. нет именно моего случая и методом тыка не получается.

---------- Добавлено 30.12.2013 в 04:36 ----------

Цитата:
Сообщение от аrmagedon Посмотреть сообщение
В Яндекс.вебмастере есть инструмент проверки роботса, если в чем-то сомневаетесь - юзайте его.
Он показывает 1...25, когда загружал файл. И все... ничего более...
Yuto вне форума   Ответить с цитированием
Ответ

Метки
https , robots , robots.txt , seo , ssl сертификат , wordpress , алиасы , запрет , поддомены , роботс , товар




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 07:21. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны