- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Вопросы по файлу robots.txt часто волнуют пользователей форума. Для облегчения поиска нужной информации создаётся отдельный топик, где вы можете задавать любые вопросы по составлению, оптимизации и работе файла robots.txt, отвечающего (если кто забыл) за ограничение доступа к содержимому сайта поисковым роботам.
Базовые знания можно почерпнуть у:
Википедии
Яндекса
Google - Инструменты для веб-мастеров
Сайта robotstxt.org.ru
P.S. Проверить свой robots.txt можно по ссылкам -
в Яндекс: http://webmaster.yandex.ru/robots.xml#results
в Google: https://www.google.com/webmasters/tools/robots-testing-tool?hl=ru
Если после прочтения информации по ссылкам выше у вас остались вопросы - задавайте их в этом топике.
/brend/11/breguet2.html
/brend/11/breguet3.html
Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru
Скорее всего нужно на уровне движка метатегом, или можно роботсом?
/brend/11/breguet2.html
/brend/11/breguet3.html
Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru
Скорее всего нужно на уровне движка метатегом, или можно роботсом?
Disallow : /brend/11/breguet
---------- Добавлено 13.12.2013 в 12:31 ----------
Кстати на robotstxt.org.ru устаревшая инфа.
---------- Добавлено 13.12.2013 в 12:43 ----------
В википедию тоже все кому не лень пишут
2 и 3 ссылки всем должно быть за глаза. Остальные вопросы на этом форуме.
2 и 3 ссылки всем должно быть за глаза.
Какие, на ваш взгляд?
Disallow : /brend/11/breguet
такой способ закроет доступ к категории насколько я понимаю
/brend/11/breguet.html
Прикрепил тему, думаю, всем будет полезна и не будет плодиться сотня тем об одном и том же.
По вопросам robots.txt отдельный топик, поэтому продолжение из данной закрытой темы /ru/forum/827897
Сообщение от Dombrov Посмотреть сообщение
Может вот так?
Disallow: /*2*/
allow: /*2*-*/
Первый запрещает все с цифрой два. А второй разрешает из них если стоит -. Если исходить из вашей структуры то /число/ старые страницы, а новые могут быть /число-/, а такие как раз разрешаем.
avtomastersu: Спасибо, очень интересное предложение. А не существует правила, одного для всех цифр, что бы не вставлять 2, 5, 78 и т. д., много их там таких.
Или так нельзя?
Для всех не знаю, но достаточно до 9.
Disallow: /*1*/
allow: /*1*-*/
Disallow: /*2*/
allow: /*2*-*/
Disallow: /*3*/
allow: /*3*-*/
и так далее до 9 и все. Указывать двухзначные числа или трехзначные не надо. Он ищет символ, например 2, и находит его как в 250 так и 320.
/brend/11/breguet2.html
/brend/11/breguet3.html
Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru
Скорее всего нужно на уровне движка метатегом, или можно роботсом?
А что если так?
Disallow: /*/*/*1.html
Disallow: /*/*/*2.html
А что если так?
Disallow: /*/*/*1.html
Disallow: /*/*/*2.html
А так разве не проще?
Disallow: /*1.html
И помните, что всё закрытое в роботсе, может успешно искаться, если кто-то вдруг поставит ссылку. Не нравится, не отвечайте 200
Какие, на ваш взгляд?
Те, по которым написано про регистрозависимость всего, что после Disallow: /
а то была уже тема Яндекс нашел MegaIndex.
Здравствуйте уважаемые гуру!
Недавно заглянул в статистику webmaster.yandex.ru своего аккаунта и увидел следующее:
Исключенные страницы:
HTTP-статус: Ресурс не найден (404) 154
Документ запрещен в файле robots.txt 163
При детальном просмотре статистики обнаружилось, что большинство страниц моего ресурса закрыто от индексации директивой Disallow: /*?*. В связи с чем вопрос, глубоко уважаемые гуру: какие страницы запрещены к индексации при введении данной директивы (сайт на wordpress)? Эффективна ли она в принципе, ведь с ее помощью от индексации закрыто чуть ли не большая половина контента моего ресурса.
Спасибо!