- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
По вопросам robots.txt отдельный топик, поэтому продолжение из данной закрытой темы /ru/forum/827897
Сообщение от Dombrov Посмотреть сообщение
Может вот так?
Disallow: /*2*/
allow: /*2*-*/
Первый запрещает все с цифрой два. А второй разрешает из них если стоит -. Если исходить из вашей структуры то /число/ старые страницы, а новые могут быть /число-/, а такие как раз разрешаем.
avtomastersu: Спасибо, очень интересное предложение. А не существует правила, одного для всех цифр, что бы не вставлять 2, 5, 78 и т. д., много их там таких.
Или так нельзя?
Для всех не знаю, но достаточно до 9.
Disallow: /*1*/
allow: /*1*-*/
Disallow: /*2*/
allow: /*2*-*/
Disallow: /*3*/
allow: /*3*-*/
и так далее до 9 и все. Указывать двухзначные числа или трехзначные не надо. Он ищет символ, например 2, и находит его как в 250 так и 320.
Нигде не мог решить. Спасибо Dombrov, все сработало.
Нужно запретить индексацию внутри каталога, но чтобы индексировалась главная страница.
Т.е. domen.ru/category/ должна индексироваться
А domen.ru/category/tovar1/, domen.ru/category/tovar2/ и т.п. запретить к индексации.
Как это правильно прописать в robots.txt?
Disallow: /category/tovar
при этом если вы хотите, чтобы например /category/tovar123.php индексировался, то такой пример не пройдет.
sisers, Категории нужно продвигать, а не закрывать от индексации
Ripro, ну может у него cms кучу дублей делает :)
sisers, только учтите, что иногда поисковики кладут болт на disallow.
они просто делают свое черное дело! Информация правит миром и не важно как при этом добыта.
Здравствуйте, форумчане.
Я совсем запутался читая мануалы Яндекса и Google о том, как правильно составить свой robots.txt
Меня интересует не совсем стандартный вопрос, с основами robots все ясно, а вот как быть если:
1. Я хочу заблокировать раздел http://vorota-style.ru/vorota/ и все что заканчивается после /vorota/ЛЮБОЙ РАЗДЕЛ/, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd.
2. Но при этом мне нужны все разделы (выдели жирным) /vorota/ЛЮБОЙ РАЗДЕЛ/
Подскажите как быть, очень нужна ваша помощь, а то Яша иногда индексирует такие страницы, как, например, /vorota/ЛЮБОЙ РАЗДЕЛ/dd, причем она идентична http://vorota-style.ru/vorota/
В Яндекс.вебмастере есть инструмент проверки роботса, если в чем-то сомневаетесь - юзайте его.
Disallow: */vorota/* - выплюнет из индекса всё, содержащее в своем URL /vorota/
если просто Disallow: /vorota/ - тогда ваш_сайт/vorota/ и все вложенные каталоги и страницы будут запрещены.
Вообще читайте http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml тут инфы с головой!
Вообще читайте http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml тут инфы с головой!
прочел весь и только после сюда обратился, т.к. нет именно моего случая и методом тыка не получается.
---------- Добавлено 30.12.2013 в 04:36 ----------
В Яндекс.вебмастере есть инструмент проверки роботса, если в чем-то сомневаетесь - юзайте его.
/ru/forum/828288