Robots.txt - вредительство от вебстудии или так положено?

CP
На сайте с 11.04.2011
Offline
10
#11
Буратинка:
Друзья! Вебстудия, которая делала сайт по умолчанию ставит для всех своих клиентов файл robots.txt со следующим содержанием:

User-agent: *
Disallow: /

Он как всем известно запрещает индексацию всех страниц всеми поисковыми системами!!!

Сегодня позвонил в эту вебстудию, которая разрабатывала и хостит у себя этот сайт (и у них полный доступ к файлам сайта в отличии от нас) и они мне сообщили ВНИМАНИЕ!!!!! "МЫ для всех наших клиентов вставляем этот файл по умолчанию, а потом когда Ваш оптимизатор будет заниматься продвижением - он нас просит изменить его или удалить!!!!"

Вопрос напрашивается: Вы когда нибудь видели движки сайтов где по умолчанию вставляется запрещающий к индексации файл или это вредительство Вебстудии за то, что за оптимизацию взялся другой оптимизатор, а не их контора????
Друзья с нетерпением жду отзывов по этому вопросу. Есть ли такие движки, или кто нибудь делает сайты со встроенным robots.txt, запрещающим индексацию, а об этом потом не предупреждает своих клиентов? Или это вредительство?
Заранее всем спасибо за комментарии ☝ :)

Дайте угадаю вы работаете с мегагрупс!

Они на все свои сайты так ставят, а потом с ними ругаешся что бы поменяли или дали к роботс доступ😂

Продвижение дело тонкое и опасное, но очень интересное.
infin1ty
На сайте с 03.06.2009
Offline
116
#12

Была такая же ситуация у меня. В принципе это нормально, что так делают в конторах, но это влияет на дальнейшую индексацию. Тобишь индексируется после снятия роботсапримерно 2 месяца, тогда как сайтики новые, которые только выложены, индексируются примерно через 2-3 недели.

ЗЫ. Но я всё же не понимаю, почему не пользуются тестовыми площадками? Куда проще забубенить на какой-нибудь 4-5 уровневый домен и там тестировать. Как только все готово - уже выкладывать на основной. Делов то, в базе и в движке заменить все значения на новые (доменное имя в данном случае)

TO
На сайте с 21.09.2007
Offline
170
#13

А почему бы не проверить наличие/содержание этого файла перед тем, как принять работу у веб-студии. И, если там действительно ошибка (в данном случае, закрытый от индексации сайт), попросить у них исправить ее.

Если обе стороны адекватны, все решается одним телефонным звонком и несколькими минутами работы (включая передать, сказать, раскочегариться, сделать).

Явно быстрее, чем переливание из порожнего в пустое на форуме.

Matis
На сайте с 20.10.2007
Offline
124
#14

В данной ситуации виновата веб-студия однозначно.

Она сделала конечно вполне логично, запретив разрабатывающейся сайт от индексации....

Единствення их ошибка: по окончанию работ можно оповестить заказчика об этом и все будут довольны :))

Либо написать ФАК для заказчиков по первоначальной настройке сайта для ПС и по сдаче работы - прилагать еще этот файл...

и всего-то проблем.....

Matis добавил 03.10.2011 в 15:29

t_o_x_a:
А почему бы не проверить наличие/содержание этого файла перед тем, как принять работу у веб-студии. И, если там действительно ошибка (в данном случае, закрытый от индексации сайт), попросить у них исправить ее.

Представим ситуевину с другой стороны... Я, 50-летний мужик, который всю жизнь занимался изготовлением мебели на заказ...

Решил сайт сделать... Откуда я должен вообще знать что такое роботс.тхт и что можно запретить вообще от индексации поисковых систем...

Вы сейчас говорите, как спец., а зачастую заказчики таковыми не являются.

t_o_x_a:
Если обе стороны адекватны, все решается одним телефонным звонком и несколькими минутами работы

Согласен на все 100% :))) но есть принципиальные люди.. которые готовы из-за мелочи капать на мозг неделю :)

☜♡☞ Анализ и оптимизация DLE сайтов (/ru/forum/492127). Индивидуальный подход! Телеграм: @Matfor • Комплексное создание сайтов! • Продвижение сайтов и интернет магазинов!
TO
На сайте с 21.09.2007
Offline
170
#15
Matis:
Представим ситуевину с другой стороны... Я, 50-летний мужик, который всю жизнь занимался изготовлением мебели на заказ...
Решил сайт сделать... Откуда я должен вообще знать что такое роботс.тхт и что можно запретить вообще от индексации поисковых систем...

Вы сейчас говорите, как спец., а зачастую заказчики таковыми не являются.

Всякое бывает, но как правило у 50-летних мужиков есть веб-мастер или контент-менеджер, потому что им самим ой как не хочется копаться даже в ЦМС чтобы залить новый прайс-лист (и это вполне оправданное нежелание, в большинстве случаев).

Конечно, косяк студии, что не проследили за таким ключевым моментом.

Но я говорю только про данный случай, когда ТС в курсе того, что за роботс.тхт и с чем его кушают, и может оперативно решить проблему.

melkozaur
На сайте с 06.04.2010
Offline
505
#16

А может у них и есть ФАК или какая-то инструкция.

С другой стороны, если они так с роботс.тхт делают, возникают вопросы: что еще они туда напихали?

melkozaur добавил 03.10.2011 в 15:38

"МЫ для всех наших клиентов вставляем троян, сапу и еще кучу всякой фигни по умолчанию, а потом когда Ваш оптимизатор будет заниматься продвижением - он нас просит изменить его или удалить!!!!"

Серверы в NL/US со скидкой 30% нашим читателям: E5-2650v4/10GB DDR4/240GB SSD/1 Gbps - от $20: https://ua-hosting.company/vps/nl SEO без компромиссов: https://seoleaks.net SEOLEAKS - продвижение сайтов: https://www.instagram.com/seoleaks
Kotkov
На сайте с 07.08.2011
Offline
11
#17

на сколько я понял студия занималась только тех.частью и дизайном? тогда правильно сделали, что закрыли! контент у вас наверняка был НЕоптимизированный, многие страницы пустовали и т.д. А нормальный оптимизатор первым делом при работе с сайтом открыл бы ваш роботс и прописал в нем: "Привет робот!" (с) 😂

truant
На сайте с 07.03.2011
Offline
28
#18

Я хоть и не веб-студия, но на новых своих сайтах сам добровольно такой роботс вешаю :) И изменяю его ровно тогда, когда полностью оптимизирую сайт. Так что всё логично. Другое дело, если эта веб-студия не предупреждает своих клиентов, что с таким роботсом сайт просто не попадёт в индекс.

infin1ty
На сайте с 03.06.2009
Offline
116
#19
sear4er:
Глупости говорите. А что он на 4-5 уровневом домене не проиндексируется? :D
Если на то пошло, то лучше тестить на том же Денвере ... и будет счастье ..

нет, я имел ввиду там с роботсом забабахать

Kory
На сайте с 27.11.2006
Offline
297
#20

Что за студия? впалите падонкаф!

Собираю статистику по НЧ.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий