- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Подскажите пожалуйста как правильно закрыть от индексации каталог filter и все, что после него
site.ru/programs/filter/by_country/?countryID=7
в роботс прописано
Disallow: /filter/
но данный url присутствует в индексе
Disallow: /programs/filter/
или шаманить с символом *
Если в индексе яндекса, то должно быть в роботс:
User-Agent: Yandex
Disallow: /programs/filter/
В вебмастере яндекса есть настройка индексирования-Анализ robots.txt
Там ниже список URL можете туда добавить урлы, которые Вы хотите проверить и узнать будут ли они запрещены либо нет.
Disallow: /programs/filter/
или шаманить с символом *
Спасибо, т.е. чтобы запретить необходимый каталог нужно указывать к нему предыдущий путь?
---------- Добавлено 12.12.2013 в 12:46 ----------
Если в индексе яндекса, то должно быть в роботс:
User-Agent: Yandex
Disallow: /programs/filter/
В вебмастере яндекса есть настройка индексирования-Анализ robots.txt
Там ниже список URL можете туда добавить урлы, которые Вы хотите проверить и узнать будут ли они запрещены либо нет.
В индексе гугла
И так должно работать.
Если речь идет о Гугла, то не парьтесь — он во многом игнорирует роботс.тхт
И так должно работать.
Если речь идет о Гугла, то не парьтесь — он во многом игнорирует роботс.тхт
А что же делать если необходимая мне страница не индексируется, а это чудо в индексе? :)
А что же делать если необходимая мне страница не индексируется, а это чудо в индексе? :)
Есть очень простой способ: попробуйте удалить страницу в пенели вебмастера Яндекса. Если роботс написан НЕправильно, то вы получите сообщение, что нет оснований для удаления.
От самого гугла:
"Файл robots.txt не является обязательным к исполнению"
https://support.google.com/webmasters/answer/156449?hl=ru
И там же ниже он говорит о том. что для исключения страницы используйте метататег noindex. При этом в роботсе запрет на эту страницу не должен стоять.
Добрый день.
Подскажите пожалуйста как правильно закрыть от индексации каталог filter и все, что после него
site.ru/programs/filter/by_country/?countryID=7
в роботс прописано
Disallow: /filter/
но данный url присутствует в индексе
Если надо гарантировано, то положите в эту папку файлик .htaccess со следующим содержанием:
deny from all
Доступ в эту папку будет для всех закрыт:)
От самого гугла:
"Файл robots.txt не является обязательным к исполнению"
https://support.google.com/webmasters/answer/156449?hl=ru
И там же ниже он говорит о том. что для исключения страницы используйте метататег noindex. При этом в роботсе запрет на эту страницу не должен стоять.
Но это не страница, а результат поиска
---------- Добавлено 12.12.2013 в 13:39 ----------
Если надо гарантировано, то положите в эту папку файлик .htaccess со следующим содержанием:
deny from all
Доступ в эту папку будет для всех закрыт:)
А в таком случае даная страница будет закрыта так же для пользователей? :)