robots.txt

12
[Удален]
#11
vik100:
а какие последствия отсутствия роботс.тхт вообще на сайте? просто будет бегать по всему? но это же неплохо...

Иногда кое-что не нужно индексировать. Например, страницы поиска либо страницы с дублированным содержанием (страницы сессий, например). Профили пользователей также рекомендуют закрывать от индексации, поскольку там также зачастую содержится много дублированного служебного текста.

Да и директивой Disallow robots не ограничивается. Можете ознакомиться.

vik100
На сайте с 03.08.2009
Offline
77
#12

будьте так добры,скиньте ссылку на более подробную инструкцию как создать роботс.тхт ,в какой программе создать и как залить на сайт.буду очень благодарен(а то сайт без роботса)

Гироскутеры со склада производителя по нормальной цене (http://gyroscooters.tovari-pochtoy.club)
S
На сайте с 28.10.2005
Offline
306
#13
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий