- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
задача - закрыть от индексации один раздел на сайте, страницы на нем не хранятся в отдельной папке, то есть url выглядит примерно так: mysite.com/page1.html mysite.com/page2.html и так далее
страницы из других разделов в таком же формате
вопрос:
будет ли корректным следующий файл robots.txt
User-agent: *
Disallow: /page1.html
Disallow: /page2.html
Disallow: /page3.html
Disallow: /page4.html
Disallow: /page5.html
спасибо
Файл корректный (хотя вообще можно оставить только Disallow: /page ... для запрета всех страниц, начинающихся с "page")
А вообще - пользуйтесь анализатором robots.txt
Prior, немного не правильно, для запрета всех страниц начинающихся с "page", robots.txt должен быть таким:
Disallow: *page
Оба варианта будут работать.
для запрета всех страниц начинающихся с "page", robots.txt должен быть таким:
Jepps, а вы в курсе, что когда-то только один робот понимал звездочку? А ведь это нестандартная вещь.
Вот нахрена со знанием дела советовать использовать нестандартную директиву, если можно написать просто:
User-agent: *
Disallow: /page
что соответствует стандарту и будет работать в 100% случаях.
Kost, не стоит жить в прошлом. Поисковый сервер Google, первый начал понимать регулярные выражения в директивах, это было в конце 2003 года, остальные поисковики позже. Не понимаю, о какой нестандартности вы говорите.
еще вопрос, если на сайте есть папка data, a в ней еще папки, то как мне закрыть от индексации эти вложенные папки
Disallow: /data/upload/pictures
так будет правильно?
Не понимаю, о какой нестандартности вы говорите.
А что на это скажет, например, Рамблер?
еще вопрос, если на сайте есть папка data, a в ней еще папки, то как мне закрыть от индексации эти вложенные папки
Disallow: /data/
Disallow: /data/
дело в том, что в папке data лежат 2 папки с картинками, одни индексировать можно, а другие нет, как мне закрыть от индексации одну только одну папку?
спасибо
дело в том, что в папке data лежат 2 папки с картинками, одни индексировать можно, а другие нет, как мне закрыть от индексации одну только одну папку?
спасибо
Правильно вы всё написали.
Disallow: /data/upload/pictures