robots.txt

LN
На сайте с 03.07.2007
Offline
20
1017

Посмотрел http://bdbd.ru/robots.txt

Увидел:

User-agent: *

Disallow: /

bdbd клоачат и я им сейчас делаю бесплатный пЕар? Или в чем тут дело?

Куплю постоянные ссылки в 1кл. от главной ПР5,6,7,8. SeoZavr: Биржа купли/продажи площадок под статьи (http://seozavr.ru/index.php?id=282)
Y
На сайте с 27.10.2007
Offline
15
#1
latiNOS:
Посмотрел http://bdbd.ru/robots.txt
Увидел:
User-agent: *
Disallow: /

bdbd клоачат и я им сейчас делаю бесплатный пЕар? Или в чем тут дело?

а в чем именно дело?

LN
На сайте с 03.07.2007
Offline
20
#2
Yaso:
а в чем именно дело?

Дело в том, что с таким robots их сайт вообще не должен быть в индексе. А он есть.

Y
На сайте с 27.10.2007
Offline
15
#3
latiNOS:
Дело в том, что с таким robots их сайт вообще не должен быть в индексе. А он есть.

роботс вы видели через анализатор.

Цахес
На сайте с 15.03.2007
Offline
205
#4

А так не смотрели? 🚬

http://www.bdbd.ru/robots.txt

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Y
На сайте с 27.10.2007
Offline
15
#5
Цахес:
А так не смотрели? 🚬
http://www.bdbd.ru/robots.txt

и через анализатор нужно добавить www

LN
На сайте с 03.07.2007
Offline
20
#6
Цахес:
А так не смотрели? 🚬
http://www.bdbd.ru/robots.txt

Так уже интереснее :)

Yaso, я не через анализатор смотрел. Я смотрел без www, т.е. вот так http://bdbd.ru/robots.txt

Теперь мне интересно зачем они так сделали? Чтобы 100% правильно всё склеилось?

Я просто зачитался соседим топиком о воровстве хостов через склейку и решил глянуть как bdbd от этого защищается.

seonik
На сайте с 29.06.2006
Offline
98
#7
Цахес:
А так не смотрели?
http://www.bdbd.ru/robots.txt

Правильно подметили.

Все невозможное возможно!
[Удален]
#8
latiNOS:
Теперь мне интересно зачем они так сделали? Чтобы 100% правильно всё склеилось?

Чтобы сайт без www не индексировался, а индексировался с www.

S2
На сайте с 07.01.2008
Offline
611
#9

Так там же 301 редирект стоит с bdbd.ru на www.bdbd.ru Поэтому bdbd.ru всё равно индексироваться не может.

Роботс наверно ещё со старых времён остался, до склейки.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
The WishMaster
На сайте с 29.09.2005
Offline
2542
#10

Str256, думаю так, для верности :D

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий