Robots.txt

12
kimberlit
На сайте с 13.03.2007
Offline
370
#11
Kraus:
В том и дело, я не знаю)
Вероятно, бесполезно спрашивать, для чего так делается?)

Вероятно, все ненужные адреса этого сайта начинаются на dl? Это самый очевидный вариант. А так, там может тараканы какие-нибудь, или руки кривые, или ...

artemmian
На сайте с 27.12.2013
Offline
15
#12
vip-moto:
а если не секрет модуль или что то в этом роде есть для DLE?

вот http://coderlaba.com/hacks/dle-hacks/971-menyaem-v-adrese-nadoedlivyy-xfsearch-na-bolee-logichnoe-slovo-lyubaya-versiya-dle.html

Заходите на мой сайт: http://artemmian.ru (http://artemmian.ru) и узнаете много интересного о DLE и мира IT
Gennadi
На сайте с 18.12.2012
Offline
138
#13
BrightGuy:
Имеете в виду фиксированное количество папок до папки page? Сомневаюсь что в этом есть смысл так как символ "*" обозначает любой текст.

в этом есть смысл когда то такой конструкцией с сайта убрали несколько сотен тысяч дублей что дало космический прирост трафика:)

Badmaestro
На сайте с 11.07.2008
Offline
244
#14
Kraus:
В том и дело, я не знаю)
Вероятно, бесполезно спрашивать, для чего так делается?)

Ну, например, есть у нас раздел интернет-магазина. Добавляются в него новые подразделы с товарами.

Но прорабатываются подразделы на сразу: нужно, чтоб контентом дозаполнили, оптимизацию базовую провели, какие-то нововведения, а/б-тесты и все такое... А раздел уже выгружен.

Вот мы и закрываем весь раздел из индекса: чтоб Яндекс не схавал плохо проработанные и не оптимизированные подразделы. А потом по мере готовности эти разделы открываем в роботсе правилами Allow.

Это лишь один из примеров. Также закрываются из индекса технические страницы админки, информация, дублирующая контент, кто-то закрывает страницы пагинации... Короче, функция весьма нужная, особенно для крупных порталов и интернет-магазинов.

Например: https://www.facebook.com/robots.txt?_rdr

SEO без воды ( https://kupit-slona.ru ) Продвижение сайтов от 500 $ в мес ( https://searchengines.guru/ru/forum/1038146 ) Аренда грузинского Adsense ( при доходе от 1000$ в мес. Adsense активирован, выплаты идут. )
BG
На сайте с 03.10.2010
Offline
195
#15
kimberlit:
Это определяет не фиксированное, а минимальное количество слешей (сейчас 4 минимум). Может кому и надо такое)

Спасибо, никогда бы сам не подумал) Пригодится в будущем.

-= Сайты на заказ | Правки, обновление, работы по DLE =- ( /ru/forum/791118 ) Telegram: @ruslansh ( tg://resolve?domain=ruslansh )
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий