Нужно написать robots.txt для самогонного движка

12
WebMage
На сайте с 17.08.2011
Offline
119
#11
SeVlad:
Один я, что ли, заметил причины адекватности ТСа?

Наверно Вы один глазастенький =)

По теме мне пообещали помочь в понедельник, всё равно спасибо кто поучавствовал в этой теме.

П.С.

"Самогонного", получилось при написании в Google Chrome что слово "самодельного" выделилось красной чертой, что означает возможную опечатку в слове, ПКМ надавил и высветился этот креативный вариант, решил его оставить, думаю банальными заголовками сейчас слабо получается завлекать юзеров в топик.

vagogrande
На сайте с 25.02.2012
Offline
110
#12
WebMage:

Наверно Вы один глазастенький =)
По теме мне пообещали помочь в понедельник, всё равно спасибо кто поучавствовал в этой теме.
П.С.
"Самогонного", получилось при написании в Google Chrome что слово "самодельного" выделилось красной чертой, что означает возможную опечатку в слове, ПКМ надавил и высветился этот креативный вариант, решил его оставить, думаю банальными заголовками сейчас слабо получается завлекать юзеров в топик.

Не имея доступа к сайту ничего сделаешь.

Выложите его где-нибудь полностью закрытым роботс.тхт и дайте url в личку просканирую и пришлю результат.

Блеск в его глазах был заревом праздничного салюта, которым его тараканы отметили окончательную победу над разумом
WebMage
На сайте с 17.08.2011
Offline
119
#13
vagogrande:
Выложите его где-нибудь полностью закрытым роботс.тхт

Сайт уже в сети, урл отправил ЛС

vagogrande
На сайте с 25.02.2012
Offline
110
#14
WebMage:
Сайт уже в сети, урл отправил ЛС

В Вашем варианте

User-agent: *

Disallow: /

Allow : /project

Allow : /banners

Запрещает скачивать все кроме страниц начинающихся на project и banners (если будет нужно).

можно добавить

Allow : /support

Сайт пустоват и непонятно, что нужно индексировать, а что нет

Title на многих страницах одинаковы

IL
На сайте с 20.04.2007
Offline
418
#15
vagogrande:
User-agent: *
Disallow: /

В принципе, на этом можно было бы и остановиться... 😂

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
vagogrande
На сайте с 25.02.2012
Offline
110
#16
ivan-lev:
В принципе, на этом можно было бы и остановиться... 😂

При том наполнении сайта, что сейчас это будет правильное решение 😂

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий