Все вопросы по robots.txt - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Старый 13.12.2013, 00:37   #1
This Was
 
Аватар для Cell
 
Регистрация: 09.10.2007
Адрес: UVAO
Сообщений: 13,560
Репутация: 2140566
Отправить сообщение для Cell с помощью ICQ

Exclamation Все вопросы по robots.txt

Вопросы по файлу robots.txt часто волнуют пользователей форума. Для облегчения поиска нужной информации создаётся отдельный топик, где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt, отвечающего (если кто забыл) за ограничение доступа к содержимому сайта поисковым роботам.

Базовые знания можно почерпнуть у:

Википедии
Яндекса
Google - Инструменты для веб-мастеров
Сайта robotstxt.org.ru

P.S. Проверить свой robots.txt можно по ссылкам -
в Яндекс: http://webmaster.yandex.ru/robots.xml#results
в Google: https://www.google.com/webmasters/to...ing-tool?hl=ru

Если после прочтения информации по ссылкам выше у вас остались вопросы - задавайте их в этом топике.
__________________
The Piper at the Gates of Dawn

Последний раз редактировалось wolf; 30.09.2014 в 15:37..
Cell вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 13.12.2013, 01:21   #2
G-and-Y
Gosha ☯ Yasha™
 
Аватар для G-and-Y
 
Регистрация: 29.06.2013
Адрес: UA
Сообщений: 1,406
Репутация: 79071

По умолчанию Re: Все вопросы по robots.txt

/brend/11/breguet2.html
/brend/11/breguet3.html

Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru

Скорее всего нужно на уровне движка метатегом, или можно роботсом?
__________________
Абузо-адекватные(adult) VPS 15Gb SSD с администрированием 5$/мес.
Тизерная CPA - без санкций от Яндекса | Видео реклама за 1000 - 100р
Mediaget и меток НЕТ!!!
G-and-Y вне форума   Ответить с цитированием
Старый 13.12.2013, 08:29   #3
cheredov
ivan
 
Аватар для cheredov
 
Регистрация: 07.04.2011
Сообщений: 1,525
Репутация: 67028
Отправить сообщение для cheredov с помощью ICQ Отправить сообщение для cheredov с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от G-and-Y Посмотреть сообщение
/brend/11/breguet2.html
/brend/11/breguet3.html

Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru

Скорее всего нужно на уровне движка метатегом, или можно роботсом?
Disallow : /brend/11/breguet

---------- Добавлено 13.12.2013 в 12:31 ----------

Кстати на robotstxt.org.ru устаревшая инфа.

---------- Добавлено 13.12.2013 в 12:43 ----------

В википедию тоже все кому не лень пишут
Цитата:
Также, для управления индексацией применяют теги <noindex> и атрибут <nofollow>, закрывающие содержимое сайта от роботов Яндекса и Google соответственно (Yahoo использует тег <nofollow>).
2 и 3 ссылки всем должно быть за глаза. Остальные вопросы на этом форуме.
__________________
Иван Чередов

Последний раз редактировалось cheredov; 13.12.2013 в 08:47..
cheredov вне форума   Ответить с цитированием
Старый 13.12.2013, 15:02   #4
Cell
This Was
 
Аватар для Cell
 
Регистрация: 09.10.2007
Адрес: UVAO
Сообщений: 13,560
Репутация: 2140566
Отправить сообщение для Cell с помощью ICQ

ТопикСтартер Re: Все вопросы по robots.txt

Цитата:
Сообщение от cheredov Посмотреть сообщение
2 и 3 ссылки всем должно быть за глаза.
Какие, на ваш взгляд?
Cell вне форума   Ответить с цитированием
Старый 14.12.2013, 01:39   #5
G-and-Y
Gosha ☯ Yasha™
 
Аватар для G-and-Y
 
Регистрация: 29.06.2013
Адрес: UA
Сообщений: 1,406
Репутация: 79071

По умолчанию Re: Все вопросы по robots.txt

Disallow : /brend/11/breguet
такой способ закроет доступ к категории насколько я понимаю

/brend/11/breguet.html
G-and-Y вне форума   Ответить с цитированием
Старый 14.12.2013, 06:43   #6
-= Serafim =-
Moderator
 
Регистрация: 10.12.2006
Сообщений: 18,994
Репутация: 1833989

По умолчанию Re: Все вопросы по robots.txt

Прикрепил тему, думаю, всем будет полезна и не будет плодиться сотня тем об одном и том же.
-= Serafim =- вне форума   Ответить с цитированием
Сказали спасибо 2 пользователей:
Старый 14.12.2013, 10:46   #7
Dombrov
Аспирант
 
Аватар для Dombrov
 
Регистрация: 04.03.2010
Адрес: Симферополь
Сообщений: 113
Репутация: 15137

По умолчанию Re: Все вопросы по robots.txt

По вопросам robots.txt отдельный топик, поэтому продолжение из данной закрытой темы http://searchengines.guru/showthread...=827897&page=2
Сообщение от Dombrov Посмотреть сообщение
Может вот так?
Disallow: /*2*/
allow: /*2*-*/

Первый запрещает все с цифрой два. А второй разрешает из них если стоит -. Если исходить из вашей структуры то /число/ старые страницы, а новые могут быть /число-/, а такие как раз разрешаем.

avtomastersu: Спасибо, очень интересное предложение. А не существует правила, одного для всех цифр, что бы не вставлять 2, 5, 78 и т. д., много их там таких.
Или так нельзя?

Для всех не знаю, но достаточно до 9.
Disallow: /*1*/
allow: /*1*-*/
Disallow: /*2*/
allow: /*2*-*/
Disallow: /*3*/
allow: /*3*-*/
и так далее до 9 и все. Указывать двухзначные числа или трехзначные не надо. Он ищет символ, например 2, и находит его как в 250 так и 320.
Dombrov на форуме   Ответить с цитированием
Старый 15.12.2013, 00:46   #8
G-and-Y
Gosha ☯ Yasha™
 
Аватар для G-and-Y
 
Регистрация: 29.06.2013
Адрес: UA
Сообщений: 1,406
Репутация: 79071

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от G-and-Y Посмотреть сообщение
/brend/11/breguet2.html
/brend/11/breguet3.html

Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru

Скорее всего нужно на уровне движка метатегом, или можно роботсом?
А что если так?

Disallow: /*/*/*1.html
Disallow: /*/*/*2.html
G-and-Y вне форума   Ответить с цитированием
Старый 15.12.2013, 12:35   #9
Психиатр
Академик
 
Регистрация: 16.11.2010
Адрес: 80785512
Сообщений: 4,884
Репутация: 1443280

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от G-and-Y Посмотреть сообщение
А что если так?

Disallow: /*/*/*1.html
Disallow: /*/*/*2.html
А так разве не проще?

Disallow: /*1.html
Психиатр вне форума   Ответить с цитированием
Сказали спасибо:
Старый 15.12.2013, 19:46   #10
богоносец
убивец демо†кратии
 
Аватар для богоносец
 
Регистрация: 30.01.2007
Адрес: совок_б/к
Сообщений: 8,526
Репутация: 949178

По умолчанию Re: Все вопросы по robots.txt

И помните, что всё закрытое в роботсе, может успешно искаться, если кто-то вдруг поставит ссылку. Не нравится, не отвечайте 200

Цитата:
Сообщение от Cell Посмотреть сообщение
Какие, на ваш взгляд?
Те, по которым написано про регистрозависимость всего, что после Disallow: /
а то была уже тема Яндекс нашел MegaIndex.
__________________
MatrixNet must Die.
богоносец вне форума   Ответить с цитированием
Ответ

Метки
https, robots, robots.txt, seo, ssl сертификат, wordpress, алиасы, запрет, поддомены, роботс




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 17:21. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны