Помогите с настройкой robots.txt

12
MS
На сайте с 07.01.2009
Offline
4
2274

Добрый день!

Наднях выложил на бесплатный хост *.tu2.ru сайт в одну страницу. Решил добавить URL в Яндекс. Но мне выдает сообщение "Указанный URL запрещен к индексации в файле robots.txt.". Я порылся в справке и вычитал "Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.". Я выложил в коренной каталог пустой файл robots.txt, а сообщение "Указанный URL запрещен к индексации в файле robots.txt." все-равно выбрасывает. Что мне делать?

Заранее спасибо!

Prior
На сайте с 03.03.2008
Offline
194
#1

http://tu2.ru/robots.txt

выставлен запрет на индексацию для Яндекса

Ответы на вопрос - https://answers.net.pl
HM
На сайте с 13.05.2009
Offline
23
#2

Идиотизм, не? Зачем бесплатному хостингу закрывать от индексации свои сайты. Ясное же дело что народу у них из-за этого поубавится. Обьясните, может есть причины?

Продаю ссылки навсегда. Размещаю статьи навсегда. Обмениваюсь ссылками и статьями навсегда. Тематика - туризм. pr2. ТИЦ 20. ДМОЗ. дешего. Самый СДЛьный СДЛ из всех СДЛов :)
Delarante
На сайте с 13.07.2008
Offline
69
#3
helpMEplease:
Идиотизм, не? Зачем бесплатному хостингу закрывать от индексации свои сайты.

Борьба с дорами а точнее с их создателями. У бесплатного хостера всегда есть 2 выхода из такой ситуации, либо строгое модерирование всех проектов, что как вы понимаете дороговато обходится, либо Disallow: / который обходится дешевле…

MS
На сайте с 07.01.2009
Offline
4
#4
Delarante:
либо Disallow: / который обходится дешевле…

А можна поподробнее

TU
На сайте с 22.12.2008
Offline
44
#5
Mishka Stels:
А можна поподробнее

Содержимое твоего robots.txt значение не имеет. У хостера стоит алиас на все домены, и отдается robots.txt, где запрещена индексация яндексом. Вобщем, меняй хостинг.

Репа - законный способ сделать конкурентам подлянку.
[Удален]
#6
Mishka Stels:
А можна поподробнее

Куда ж подробней-то - разжевали всё по самое не балуй. ;)

K
На сайте с 31.01.2001
Offline
737
#7
Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
S
На сайте с 28.10.2005
Offline
319
#8
Prior:
http://tu2.ru/robots.txt
выставлен запрет на индексацию для Яндекса

А при чем здесь этот роботс?

Адрес подопечного озвучьте

Prior
На сайте с 03.03.2008
Offline
194
#9
semenov:
А при чем здесь этот роботс?

Адрес подопечного озвучьте

Насколько я понимаю - у tu2.ru для всех поддоменов этот robots.txt

S
На сайте с 28.10.2005
Offline
319
#10
Prior:
Насколько я понимаю - у tu2.ru для всех поддоменов этот robots.txt

Хороший хостинг :D

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий