Robots.txt - вредительство от вебстудии или так положено?

melkozaur
На сайте с 06.04.2010
Offline
536
#51

pchol123,

Не имеет.

Суть в том, что они закрывают роботс. То, как сделан сам сайт - это второстепенное.

pchol123
На сайте с 13.05.2007
Offline
239
#52

melkozaur, всё верно. Вы как раз подтверждаете моё сообщение номер 42

только то, как сделан сайт это совсем не второстепенно. Может в рамках именно этой темы и да, но в целом, это даже важнее этого файлика с закрытым роботсом =)

сеть трастовых сайтов (http://articles.sape.ru/r.5b6641ce4e.php)
SnarkMax
На сайте с 21.04.2011
Offline
8
#53
User-agent: *
Disallow: /

А если таким robots внезапно сделала веб-студия, которая в течение года перед тем успешно продвигала сайт?

ZZ_Top
На сайте с 17.09.2010
Offline
40
#54
Буратинка:

Вопрос напрашивается: Вы когда нибудь видели движки сайтов где по умолчанию вставляется запрещающий к индексации файл или это вредительство Вебстудии за то, что за оптимизацию взялся другой оптимизатор, а не их контора????
Друзья с нетерпением жду отзывов по этому вопросу. Есть ли такие движки, или кто нибудь делает сайты со встроенным robots.txt, запрещающим индексацию, а об этом потом не предупреждает своих клиентов? Или это вредительство?
Заранее всем спасибо за комментарии ☝ :)

Все банально просто. Делали сайт на тестовом домене (многие студии делают на третьем уровне своего же домена). На время создания сайта (внесения правок, наполнения контентом и т.п.) закрыли от индексации. Клиенты сайт приняли. Облегченно вздохнули и скопировали сайт на домен заказчика. И роботс в том числе. Т.е. вредительства никакого, обычная российская безалаберность :)

ZZ Top forever!
Утка-робот
На сайте с 08.07.2008
Offline
222
#55

Проверьте свои глаза, чтобы уверенно смотреть в будущее!

Хотел написать им, "Проверьте свой robots.txt, и да прибудет вам трафик!", но у них тег emailto:niipz@mail.ru написан с ошибкой, так что видимо, не судьба.

ПС: Может кому-то не лень будет?

Буратинка
На сайте с 30.05.2004
Offline
166
#56

По первому опыту скорости индексации сообщаю - после удаления файла robots.txt - оправил в АДД добавлялку Гугла сайт и он после года запрета индексации проиндексировал сайт и показал в поиске через 3-4 дня после добавления. Яндекс же после ADD SITE еще не видит сайт :) буду ждать как ктото тут писал около 2х месяцев.

Кубанские мы казаки - 15 лет на этом форуме - треть прожитой жизни :)
Too
На сайте с 14.08.2006
Offline
131
Too
#57

Такой роботс еще ни чего страшного, однажды видел как вебстудия позволила себе оставить

HOST: site.свойдомен.ru

Вот это вообще вопиющий факт, руки бы оторвал

PS: это у вебстудии, которая позиционирует себя лидером в своем регионе

W
На сайте с 28.09.2009
Offline
102
#58

Вполне правильно сделали. Но вопрос почему не предупредили...

Буратинка
На сайте с 30.05.2004
Offline
166
#59

Ураааа! Друзья прошло 12 дней с момента удаления файла robots.txt и добавления сайта в поисковые машины повторно.

Результат - Гугл проиндексировал весь сайт через 9 дней, а яндекс через 12 уже сегодня утром (вчера вечером еще не был в выдаче). Слава Богу что не 2 месяца как кто-то писал выше. В выдаче отлично по всем нужным ключевым словам вышел в топе. Не зря я поработал над оптимизацией.

R7
На сайте с 30.04.2008
Offline
264
#60

поздравляю )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий