Небольшой вопрос по robotx.txt

196

root

6 июня 2010, 18:36

699

Здравствуйте!

в роботс вот такие строки:

User-agent: *

Disallow: /tag/*

но страницы вида:

/tag/novinki и др.

есть в индексе, причем не на одном сайте так, на нескольких.

так и должно быть? или robots неправильно составлен?

222

Ctulhu

6 июня 2010, 19:00

#1

root:
в роботс вот такие строки:

давно они там?

попробуйте написать

Disallow: /tag*

или без звездочек

https://atabekov.business

S

341

svift

6 июня 2010, 19:04

#2

Звездочка в строке Disallow: /tag/* лишняя

Сделайте так:

User-agent: *

Disallow: /tag/

это должно закрыть от индексации и /tag/ и /tag/novinki и /tag/novinki.htm ...

Не все ссылки одинаково полезны ( https://www.svift.org/ ). Тут заказываю комментарии и отзывы ( https://qcomment.ru/ref/5651 ) для своих сайтов

23

turovnet

6 июня 2010, 19:19

#3

ТС, у меня похожая проблема с robots.txt.

Почитайте /ru/forum/507277 может что полезное для себя почерпнете.

Звездочка после Disallow: /tag/ действительно лишняя. в WMT Google можно проверить robots.txt на корректность. Там же удалите проиндексированные страницы, которые вам не нужны.

Размещаем пресс-релизы отелей бесплатно, подробнее

196

root

6 июня 2010, 19:23

#4

спасибо за ответы! исправил, сделал без звездочки.

161

sirota77

7 июня 2010, 06:05

#5

root, проверяйте нужные урлы в инструментах для вебмастеров.

Роботс проверенный в яндекс вебмастере может работать по другому в гугле.

В рамлере например использование регулярных выражений НЕ ПРЕДУСМОТРЕНО.

Яндекс Вебмастер вынес товарные фиды в отдельный раздел

Зачем быть уникальным в мире, где все можно скопировать