Все вопросы по robots.txt - Страница 3 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 17.12.2013, 19:24   #21
kbv79
Академик
 
Аватар для kbv79
 
Регистрация: 24.03.2007
Адрес: Москва
Сообщений: 2,035
Репутация: 183299
Социальные сети

По умолчанию Re: Прошу помощи по robot.txt

Есть специальная тема про robots
http://searchengines.guru/showthread.php?t=828288

Все зависит, от того, что конкретно и для Вы хотите закрыть
Я по умолчанию прописываю в robots:
Disallow: /*?*
Потому что ЧПУ.
Если только страницы компаний, и атрибута ?name= больше нигде нет, то все правильно:
Disallow: *?name=
(все что после *?name= по умолчанию не индексируется).
kbv79 вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 17.12.2013, 19:55   #22
mssqwesto
Аспирант
 
Аватар для mssqwesto
 
Регистрация: 24.03.2011
Сообщений: 226
Репутация: 27504

По умолчанию Re: Прошу помощи по robot.txt

Цитата:
Сообщение от kbv79 Посмотреть сообщение
Если только страницы компаний, и атрибута ?name= больше нигде нет, то все правильно:
Disallow: *?name=
(все что после *?name= по умолчанию не индексируется).
Да правильно и так будет, привык к регуляркам просто.
mssqwesto вне форума   Ответить с цитированием
Старый 17.12.2013, 20:53   #23
aship
Пафосный резидент
 
Аватар для aship
 
Регистрация: 20.10.2007
Адрес: Пейа
Сообщений: 652
Репутация: 147803

По умолчанию Re: Прошу помощи по robot.txt

Цитата:
Сообщение от mssqwesto Посмотреть сообщение
правильно будет
Disallow: *?name=*
а, если нет для индексирования страниц с "?" то можно и
Disallow: *?*

Это - более неправильный вариант, чем указал топикстартер.
Звездочка в robots.txt в конце строки не ставится.
Равно, как и неправильно запрещать голый знак вопроса.
Это не значащий символ URI, а разделитель и в некоторых реализациях движков результаты будут непредсказуемы.
aship вне форума   Ответить с цитированием
Старый 18.12.2013, 02:20   #24
G-and-Y
Gosha ☯ Yasha™
 
Аватар для G-and-Y
 
Регистрация: 29.06.2013
Адрес: UA
Сообщений: 1,446
Репутация: 84849

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от Психиатр Посмотреть сообщение
А так разве не проще?

Disallow: /*1.html
спс 10 символов
__________________
Абузо-адекватные(adult) VPS 15Gb SSD с администрированием 5$/мес.
Тизерная CPA - без санкций от Яндекса | Видео реклама за 1000 - 100р
Mediaget и меток НЕТ!!!
G-and-Y вне форума   Ответить с цитированием
Старый 18.12.2013, 15:16   #25
богоносец
убивец демо†кратии
 
Аватар для богоносец
 
Регистрация: 30.01.2007
Адрес: совок_б/к
Сообщений: 8,775
Репутация: 959228

По умолчанию Re: Прошу помощи по robot.txt

Цитата:
Сообщение от kbv79 Посмотреть сообщение
Я по умолчанию прописываю в robots:
Disallow: /*?*
Потому что ЧПУ.
Если только страницы компаний, и атрибута ?name= больше нигде нет, то все правильно:
Disallow: *?name=
Объясните различия между
Disallow: /*?*
Disallow: *?

И ещё можете по умолчанию прописывать
Disallow: *//

поскольку большинство серваков такие
http://searchengines.guru//showthread.php?p=12455420#post12455420
__________________
MatrixNet must Die.
богоносец вне форума   Ответить с цитированием
Старый 21.12.2013, 15:59   #26
Artur27
Студент
 
Регистрация: 11.02.2012
Сообщений: 25
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt

всем ку, кароче нид сделать так закрыть все страницы сайта но при это разрешить несколько страниц и разрешить главную, вообщем сделал роботс, но как разрешить главную не знаю:

User-agent: *
Disallow: /
Allow: /страница1
Allow: /страница2
Allow: /страница3
Allow: /страницаN

В этом случае указанные внутряки разрешатся, но главная не разрешится, что делать?
Artur27 вне форума   Ответить с цитированием
Старый 21.12.2013, 18:02   #27
Artur27
Студент
 
Регистрация: 11.02.2012
Сообщений: 25
Репутация: 10

Question Robots.TXT как закрыть все страницы но открыть главную и еще несколько внутряков?

всем привет, нужно сделать следующее, закрыть все страницы сайта, но при этом разрешить несколько страниц и разрешить главную, во общем сделал роботс, но как разрешить главную не знаю:

User-agent: *
Disallow: /
Allow: /страница1
Allow: /страница2
Allow: /страница3
Allow: /страницаN

В этом случае указанные внутряки разрешатся, но главная не разрешится, что делать?
Artur27 вне форума   Ответить с цитированием
Старый 21.12.2013, 18:32   #28
kaskentbobel
По повадкам - вроде фраер
 
Аватар для kaskentbobel
 
Регистрация: 24.09.2012
Адрес: Питер->Москва->Дикий край
Сообщений: 1,121
Репутация: 318091
Отправить сообщение для kaskentbobel с помощью ICQ

По умолчанию Re: Robots.TXT как закрыть все страницы но открыть главную и еще несколько внутряков?

Попробуйте ко всему вышеперечисленному добавить Allow: /index.html (или .htm или .php - не знаю как у вас реализовано)
kaskentbobel вне форума   Ответить с цитированием
Старый 21.12.2013, 20:40   #29
ZoomY
Работаем
 
Аватар для ZoomY
 
Регистрация: 07.11.2008
Адрес: Киев, Украина
Сообщений: 2,690
Репутация: 269730

По умолчанию Re: Robots.TXT как закрыть все страницы но открыть главную и еще несколько внутряков?

kaskentbobel, зачем советовать, если не разбираетесь? Человек наплодит дублей и заморочается со внутренней перелинковкой, чтобы ссылки вели на index.htm, а не на /. Про внешние ссылки я вообще молчу.

Реализуется элементарно:
Код:
Disallow: /
Allow: /$
Символ $ даёт точное соответствие. В итоге / будет индексироваться, а /page.htm - не будет.
__________________
Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$
Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.
ZoomY вне форума   Ответить с цитированием
Старый 22.12.2013, 09:58   #30
Artur27
Студент
 
Регистрация: 11.02.2012
Сообщений: 25
Репутация: 10

По умолчанию Re: Robots.TXT как закрыть все страницы но открыть главную и еще несколько внутряков?

Цитата:
Сообщение от ZoomY Посмотреть сообщение
Реализуется элементарно:
Код:
Disallow: /
Allow: /$
Супер!

10 символов
Artur27 вне форума   Ответить с цитированием
Ответ

Метки
https, robots, robots.txt, seo, ssl сертификат, wordpress, алиасы, запрет, поддомены, роботс, товар




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 09:50. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны