Закрытие страниц в robots.txt

96

Pavelcreative

15 августа 2014, 10:07

880

Коллеги,

правильно будет прописать в robots.txt:

Disallow: /*?

Disallow: /*page

Disallow: /*,

Если я хочу закрыть от индексации:

1. все страницы, которые содержат в url знак вопроса (?)

2. все страницы, которые содержать в url page?

3. все страницы, которые содержать запятую

На самом деле все намного лучше, чем Вам кажется

85

Sheremet

15 августа 2014, 11:14

#1

Часть ответов найдете тут http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar

и еще к примеру

Чтобы удалить все файлы определенного типа (например, .gif), добавьте в файл robots.txt такую запись:

User-agent: Googlebot
Disallow: /*.gif$

Чтобы удалить динамически создаваемые страницы, добавьте в файл robots.txt такую запись:

User-agent: Googlebot
Disallow: /*?

1

UI/UX. Разработка крупных интернет магазинов (http://polyarix.com). Дизайн сайтов | React, Angular | WP | Laravel |HTML5 баннеры (/ru/forum/comment/15344987)

96

Pavelcreative

15 августа 2014, 14:20

#2

Sheremet, спасибо.

Вот еще подсказали, сразу можно проверить как будет работать.

1

85

Sheremet

16 августа 2014, 07:52

#3

информация с официальных источников, самая верная :) Добавлю ссылку в избранное.

C

48

celcumplit

16 августа 2014, 07:54

#4

Странные у вас страницы особенно ","

142

secondary

16 августа 2014, 21:13

#5

Доиграетесь вы с таким роботсом...

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.

96

Pavelcreative

18 августа 2014, 14:19

#6

secondary, до чего доиграюсь?

Если есть такие страницы и надо закрывать их от индексации.

Может подскажите еще какие-то способы?

rel canonical - в данном случае не подходит (хотя используется)

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи