Robots.txt - вредительство от вебстудии или так положено?

Буратинка
На сайте с 30.05.2004
Offline
168
4661

Друзья! Вебстудия, которая делала сайт по умолчанию ставит для всех своих клиентов файл robots.txt со следующим содержанием:

User-agent: *

Disallow: /

Он как всем известно запрещает индексацию всех страниц всеми поисковыми системами!!!

Сегодня позвонил в эту вебстудию, которая разрабатывала и хостит у себя этот сайт (и у них полный доступ к файлам сайта в отличии от нас) и они мне сообщили ВНИМАНИЕ!!!!! "МЫ для всех наших клиентов вставляем этот файл по умолчанию, а потом когда Ваш оптимизатор будет заниматься продвижением - он нас просит изменить его или удалить!!!!"

Вопрос напрашивается: Вы когда нибудь видели движки сайтов где по умолчанию вставляется запрещающий к индексации файл или это вредительство Вебстудии за то, что за оптимизацию взялся другой оптимизатор, а не их контора????

Друзья с нетерпением жду отзывов по этому вопросу. Есть ли такие движки, или кто нибудь делает сайты со встроенным robots.txt, запрещающим индексацию, а об этом потом не предупреждает своих клиентов? Или это вредительство?

Заранее всем спасибо за комментарии :idea: :)

Кубанские мы казаки - 15 лет на этом форуме - треть прожитой жизни :)
Пуфик
На сайте с 17.09.2008
Offline
92
#1

Дык собственно в чем проблема дотянутся до robots.txt и внести изменения?

А по сабжу, как вы думаете на продуктовых или овощных рынках все работают честно без обвеса?

Биржа вечных ссылок GGL (http://gogetlinks.net/?inv=17gdy2) и размещение статей на Miralinks (http://miralinks.ru/users/registration/from:8322) позволит вашим сайтам прочно закрепится в Топе.
Shivana
На сайте с 26.07.2006
Offline
189
#2
Пуфик:
Дык собственно в чем проблема дотянутся до robots.txt и внести изменения?

Проблема в том, что немногие из клиентов знают о существовании роботса и не все клиенты продвигают свои сайты с помощью оптимизаторов.

Этикет ( https://vk.com/culture_etiquette ), Сагитыч ( https://vk.com/sagittich )
kimberlit
На сайте с 13.03.2007
Offline
370
#3
Буратинка:
он нас просит изменить его или удалить

Ну, попроси.

nik2019
На сайте с 28.04.2009
Offline
182
#4

Брал такой сайт на продвижение, такой файл висел больше 1,5 года после создания сайта. В результата в яндексе просто висела 1 страница в выдачи.

Многодарю
Иван
На сайте с 20.11.2009
Offline
125
#5

Имхо:

Есть своя логика, что у вас за сайт, какие данные там и кто их должен видеть... Есть же разные разделы, которые доступны должны быть только определенным людям

А то вон - мегафон, пожалуйста. Яндекс все проиндексировал, а виноват кто ?

Я думаю - это своего рода страховка со стороны вебстудии, чтобы потом не разбираться с заказчиком как там и что проиндексировалось.

Кто хочет - ищет способ, кто не хочет - оправдание.
Иван
На сайте с 20.11.2009
Offline
125
#6
sear4er:
Угу, а появились бы дубли страниц ... сайт схватил фильтр, а потом ТС верещал на весь форум, что студия говно не позаботилась об этом и не закрыла сайт в роботсе от индексации.
В общем не вижу в этом ничего плохого ...

верно верно - солидарен. Вообщем - это не вредительство однозначно.

K
На сайте с 31.01.2001
Offline
737
#7

Тоже не вижу ничего ужасного, если в договоре ничего не предусмотрено по поводу индексации.

Но я видел пример, когда студия делала у всех страниц одинаковые тайтлы (специально). А на предложение сделать их разными указывалось на прайс-лист - типа это уже оптимизация сайта и стоит отдельных денег.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
6uoncuxo3
На сайте с 05.11.2008
Offline
202
#8
Kost:
Но я видел пример, когда студия делала у всех страниц одинаковые тайтлы (специально). А на предложение сделать их разными указывалось на прайс-лист - типа это уже оптимизация сайта и стоит отдельных денег.

Чего только на серче не узнаешь.(с) Sim.

Спасибо, будем пользовать. :D

P.S. Нормальная это ситуёвина, с robots.txt. Ничего выдающегося.

We all live in a sick world, where hatred is a weapon, and freedom - a dream. © На небе — Бог, на земле — Россия. © Сербская поговорка.
melkozaur
На сайте с 06.04.2010
Offline
536
#9

Ну хз.

Вот представьте ситуацию: вы заказали сайт, вам его сделали. Проходит год. Посетителей нет, клиентов нет. Что такое? Почему? А в итоге оказывается, такая подлянка.

Вообще-то по умолчанию его не должно лежать в корне, совсем. Пусть уже компания-заказчик думает как его составлять.

Либо, если сунули его туда в таком виде - как-то предупреждать. Ведь по сути это тоже самое, что продавать компакт-диск с фильмом в формате, который нигде не читается.

Но в итоге все зависит от договоренностей между заказчиком и студией, я не знаю как там у ТС было.

pchol123
На сайте с 13.05.2007
Offline
239
#10

Ничего ужасного в данном явлении... А порой, получая сайт из рук некоторых "веб студий" это может оказаться даже плюсом.

Вот представьте ситуацию: вы заказали сайт, вам его сделали. Проходит год. Посетителей нет, клиентов нет. Что такое? Почему? А в итоге оказывается, такая подлянка.

их и через два года не будет, если вам сделали сайт и вы сидите, пяткой в раковине картофель из угла в угол гоняете.

Клиентов на сайт, приводить и без поиска можно неплохо.

Если же хозяин сайта желает получать траффик с поиска, то имеет смысл привести сайт в соответствие с требованиями поисковых систем - заниматься этим придётся самому (что изначально печально), или работать с профессионалами (а они бы быстро просекли за роботс).

сеть трастовых сайтов (http://articles.sape.ru/r.5b6641ce4e.php)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий