Все вопросы по robots.txt

Anibrut
На сайте с 28.05.2014
Offline
74
#231
bulatbulat48:
да, можно. Еще лучше добавить nofollow

я сделала так^

<a rel="nofollow" href="/ru/reg_user">

<div style="width: 88px; overflow: hidden; float: left;">Регистрация</div>

</a> | <a rel="nofollow" href="/ru/enter_user">

Вход

</a>

или вы имели в виду через robots? Если да то подскажите как?

D
На сайте с 21.10.2014
Offline
0
#232

Приветствую, назрел вопрос!

Есть сайт, в котором присутствует фильтр выбора неких продуктов по различным характеристикам. Ранее у ключевых характеристик были уникальные урлы, теперь же кодеры что-то там перепилили без оглядки на сео и теперь фильтр лишился статических ссылок и выглядит следующим образом:

site.com/products/prices:all&types:uniq&districts:all&special:free

Соответственно эта фича нагенерила тонну соплей в гугле, что не есть хорошо. Ситуация немного осложнена тем, что я не могу закрыть в robots.txt все что дальше /products/ ибо там дальше идут ссылки на конечные страницы продуктов.

Учитывая, что фильтр всегда начинается с переменной prices, не выбью ли я такой конструкцией конечные страницы продуктов из индекса?

Disallow: /products/prices*

А можно ли каким-нибудь образом удалить все страницы, в урле которых содержится ":"?

Anibrut
На сайте с 28.05.2014
Offline
74
#233
Drakari:
Соответственно эта фича нагенерила тонну соплей в гугле.

Интересная у вас ситуация, у меня на сайте тоже есть фильтр поиска продуктов. Вопрос, с помощью чего вы определили что все страницы, в урле которых содержится ":" - сопли?

B4
На сайте с 27.04.2012
Offline
94
#234
Anibrut:
я сделала так^
<a rel="nofollow" href="/ru/reg_user">
<div style="width: 88px; overflow: hidden; float: left;">Регистрация</div>
</a> | <a rel="nofollow" href="/ru/enter_user">
Вход
</a>

или вы имели в виду через robots? Если да то подскажите как?

все верно, для Яндекса обернул бы еще <noindex>код</noindex>

---------- Добавлено 29.10.2014 в 08:55 ----------

Drakari:
Приветствую, назрел вопрос!
Есть сайт, в котором присутствует фильтр выбора неких продуктов по различным характеристикам. Ранее у ключевых характеристик были уникальные урлы, теперь же кодеры что-то там перепилили без оглядки на сео и теперь фильтр лишился статических ссылок и выглядит следующим образом:
site.com/products/prices:all&types:uniq&districts:all&special:free

Соответственно эта фича нагенерила тонну соплей в гугле, что не есть хорошо. Ситуация немного осложнена тем, что я не могу закрыть в robots.txt все что дальше /products/ ибо там дальше идут ссылки на конечные страницы продуктов.
Учитывая, что фильтр всегда начинается с переменной prices, не выбью ли я такой конструкцией конечные страницы продуктов из индекса?

Disallow: /products/prices*

А можно ли каким-нибудь образом удалить все страницы, в урле которых содержится ":"?

Можно отдельно запрещать параметры, напишите точнее какие у вас конечные страницы продуктов и какие нужно запретить

D
На сайте с 21.10.2014
Offline
0
#235
Anibrut:
Интересная у вас ситуация, у меня на сайте тоже есть фильтр поиска продуктов. Вопрос, с помощью чего вы определили что все страницы, в урле которых содержится ":" - сопли?

Банально проверил количество страниц в основном индексе, после чего посмотрел сколько в общем. Разница была в несколько тысяч. А после очередного обновления фильтра гугл добавил еще 1500 страниц в индекс. Больше грешить не на что.

---------- Добавлено 30.10.2014 в 14:13 ----------

bulatbulat48:
Можно отдельно запрещать параметры, напишите точнее какие у вас конечные страницы продуктов и какие нужно запретить

Адреса продуктов имеют вид:

site.com/city1/courses/course-name

site.com/city1/courses/course-name/charactiristics

Результаты фильтра выглядят так:

site.com/city1/courses

site.com/city1/courses/prices:all

site.com/city1/courses/prices:all&types:all

site.com/city1/courses/prices:all&types:all&districts:all

И еще вопрос, в дальнейшем руководство хочет сделать статические урл с чпу формата:

site.com/курсы-по-шитью/ололоевский-район/от-700-руб

site.com/курсы-по-шитью/ололоевский-район/от-1400-руб

...и так по каждому району и ценовой категории. Полагаю, что надо будет сделать скрипт генерации мета тегов по определенному шаблону чтобы не влететь в АГС. Что-то подобное нужно и для генерации текста-описания чтобы не было частичных дублей из-за одинакового текста на страницах.

Вопрос в следующем - имеет ли это смысл? С одной стороны - это будет куча страниц заточенных под низкочастотники, с другой - в serp для пользователя будет так себе смотреться идущие подряд 5 результатов по его району, различающихся разве что ценой. Был ли у кого опыт с подобными вещами?

S3
На сайте с 28.12.2010
Offline
134
#236

Disallow: /*?cat=*

категорию вот так закрыл на WP (урл вида: имя.сайта/?cat=39)

Вот думаю, * после слеша ставить или смысла нет?

D
На сайте с 21.10.2014
Offline
0
#237

Находил в выдаче страницу по адресам

site.com/city1/courses

site.com/city1/courses/prices:all

M
На сайте с 30.06.2010
Offline
32
#238

Уважаемые знатоки, есть ли разница между:

Dissalow: /*example

Dissalow: */example

Dissalow: /*/example

Если я хочу запретить доступ к любому url, содержащему надпись example, какой из приведенных выше примеров лучше использовать?

В чем отличие других примеров и будут ли все эти примеры одинаково работать для яндекса и гугла?

В руководстве яндекса написано, что он автоматически ставит * в конец любой строки, делает ли тоже самое гугл?

Есть ли разница, ставить или нет знак "/" в конце строки?

Dissalow: /example/

или

Dissalow: /example

И одинаково ли отреагируют яндекс и гугл на последние два примера.

Заранее благодарю.

B4
На сайте с 27.04.2012
Offline
94
#239
Drakari:
Банально проверил количество страниц в основном индексе, после чего посмотрел сколько в общем. Разница была в несколько тысяч. А после очередного обновления фильтра гугл добавил еще 1500 страниц в индекс. Больше грешить не на что.

---------- Добавлено 30.10.2014 в 14:13 ----------


Адреса продуктов имеют вид:
site.com/city1/courses/course-name
site.com/city1/courses/course-name/charactiristics

Результаты фильтра выглядят так:
site.com/city1/courses
site.com/city1/courses/prices:all
site.com/city1/courses/prices:all&types:all
site.com/city1/courses/prices:all&types:all&districts:all

И еще вопрос, в дальнейшем руководство хочет сделать статические урл с чпу формата:
site.com/курсы-по-шитью/ололоевский-район/от-700-руб
site.com/курсы-по-шитью/ололоевский-район/от-1400-руб
...и так по каждому району и ценовой категории. Полагаю, что надо будет сделать скрипт генерации мета тегов по определенному шаблону чтобы не влететь в АГС. Что-то подобное нужно и для генерации текста-описания чтобы не было частичных дублей из-за одинакового текста на страницах.
Вопрос в следующем - имеет ли это смысл? С одной стороны - это будет куча страниц заточенных под низкочастотники, с другой - в serp для пользователя будет так себе смотреться идущие подряд 5 результатов по его району, различающихся разве что ценой. Был ли у кого опыт с подобными вещами?

с site.com/city1/courses на site.com/city1/courses/course-name 301редирект

site.com/city1/courses

site.com/city1/courses/prices:all

site.com/city1/courses/prices:all&types:all

site.com/city1/courses/prices:all&types:all&districts:all

c site.com/city1/courses на site.com/city1/courses/course-name 301-редирект

Закрыть страницы:

site.com/city1/courses/prices:all

site.com/city1/courses/prices:all&types:all

site.com/city1/courses/prices:all&types:all&districts:al

User-agent: *

Disallow: */prices

---------- Добавлено 04.11.2014 в 21:09 ----------

srs3000:
Disallow: /*?cat=*
категорию вот так закрыл на WP (урл вида: имя.сайта/?cat=39)
Вот думаю, * после слеша ставить или смысла нет?

Звездочка ставится автоматически, можно поставить $ чтобы закончить выражение, но в данном случае не нужно :)

---------- Добавлено 04.11.2014 в 21:11 ----------

Drakari:
Находил в выдаче страницу по адресам
site.com/city1/courses
site.com/city1/courses/prices:all

написал выше

---------- Добавлено 04.11.2014 в 21:20 ----------

morecashpoker:
Уважаемые знатоки, есть ли разница между:

Dissalow: /*example
Dissalow: */example
Dissalow: /*/example

Если я хочу запретить доступ к любому url, содержащему надпись example, какой из приведенных выше примеров лучше использовать?
В чем отличие других примеров и будут ли все эти примеры одинаково работать для яндекса и гугла?

В руководстве яндекса написано, что он автоматически ставит * в конец любой строки, делает ли тоже самое гугл?

Есть ли разница, ставить или нет знак "/" в конце строки?

Dissalow: /example/
или
Dissalow: /example

И одинаково ли отреагируют яндекс и гугл на последние два примера.

Заранее благодарю.

Знатоки отвечают 🍿

Dissalow: /*example - закроет на всех уровнях, и задоно и /textexampletext

Dissalow: */example - закроет все уровни и /exampletext

Dissalow: /*/example - тоже что и предыдущее, только для второго уровня вложенности /papka/exampletext

Разница без слеша и с ним в том, что если написать вот так: Dissalow: /example, автоматически подставится * в конце и

будет закрыто кроме папки еще и /exampletext

в данном случае одинаково для Я и G

H2
На сайте с 07.11.2014
Offline
70
#240

Здравствуйте! Вопрос в следующем, в силу особенностей CMS, есть такие адреса:

http://site/cat1/item1/

и

http://site/cat1/item1/review

Это дубли, исходя из особенностей вёрстки меню, было решено закрыть от индексации страницы типо

http://site/cat1/item1/

делаю я это так в файле robots.txt:

Disallow: /cat1/item1/

Вся проблема в том, что закрывается от индексации и страница - http://site/cat1/item1/review, которую наоборот было решено оставить и другие вложенные категории после адреса http://site/cat1/item1/.

Не пойму, как закрыть именно эту одну страницу. Подскажите, где копать. Вроде покопался в возможных командах файла роботс, но там ничего не нашёл

---------- Добавлено 07.11.2014 в 16:29 ----------

Здравствуйте! Вопрос в следующем, в силу особенностей CMS, есть такие адреса:

http://site/cat1/item1/

и

http://site/cat1/item1/review

Это дубли, исходя из особенностей вёрстки меню, было решено закрыть от индексации страницы типо

http://site/cat1/item1/

делаю я это так в файле robots.txt:

Disallow: /cat1/item1/

Вся проблема в том, что закрывается от индексации и страница - http://site/cat1/item1/review, которую наоборот было решено оставить и другие вложенные категории после адреса http://site/cat1/item1/.

Не пойму, как закрыть именно эту одну страницу. Подскажите, где копать. Вроде покопался в возможных командах файла роботс, но там ничего не нашёл

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий