- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Друзья! Вебстудия, которая делала сайт по умолчанию ставит для всех своих клиентов файл robots.txt со следующим содержанием:
User-agent: *
Disallow: /
Он как всем известно запрещает индексацию всех страниц всеми поисковыми системами!!!
Сегодня позвонил в эту вебстудию, которая разрабатывала и хостит у себя этот сайт (и у них полный доступ к файлам сайта в отличии от нас) и они мне сообщили ВНИМАНИЕ!!!!! "МЫ для всех наших клиентов вставляем этот файл по умолчанию, а потом когда Ваш оптимизатор будет заниматься продвижением - он нас просит изменить его или удалить!!!!"
Вопрос напрашивается: Вы когда нибудь видели движки сайтов где по умолчанию вставляется запрещающий к индексации файл или это вредительство Вебстудии за то, что за оптимизацию взялся другой оптимизатор, а не их контора????
Друзья с нетерпением жду отзывов по этому вопросу. Есть ли такие движки, или кто нибудь делает сайты со встроенным robots.txt, запрещающим индексацию, а об этом потом не предупреждает своих клиентов? Или это вредительство?
Заранее всем спасибо за комментарии ☝ :)
Дайте угадаю вы работаете с мегагрупс!
Они на все свои сайты так ставят, а потом с ними ругаешся что бы поменяли или дали к роботс доступ😂
Была такая же ситуация у меня. В принципе это нормально, что так делают в конторах, но это влияет на дальнейшую индексацию. Тобишь индексируется после снятия роботсапримерно 2 месяца, тогда как сайтики новые, которые только выложены, индексируются примерно через 2-3 недели.
ЗЫ. Но я всё же не понимаю, почему не пользуются тестовыми площадками? Куда проще забубенить на какой-нибудь 4-5 уровневый домен и там тестировать. Как только все готово - уже выкладывать на основной. Делов то, в базе и в движке заменить все значения на новые (доменное имя в данном случае)
А почему бы не проверить наличие/содержание этого файла перед тем, как принять работу у веб-студии. И, если там действительно ошибка (в данном случае, закрытый от индексации сайт), попросить у них исправить ее.
Если обе стороны адекватны, все решается одним телефонным звонком и несколькими минутами работы (включая передать, сказать, раскочегариться, сделать).
Явно быстрее, чем переливание из порожнего в пустое на форуме.
В данной ситуации виновата веб-студия однозначно.
Она сделала конечно вполне логично, запретив разрабатывающейся сайт от индексации....
Единствення их ошибка: по окончанию работ можно оповестить заказчика об этом и все будут довольны :))
Либо написать ФАК для заказчиков по первоначальной настройке сайта для ПС и по сдаче работы - прилагать еще этот файл...
и всего-то проблем.....
Matis добавил 03.10.2011 в 15:29
А почему бы не проверить наличие/содержание этого файла перед тем, как принять работу у веб-студии. И, если там действительно ошибка (в данном случае, закрытый от индексации сайт), попросить у них исправить ее.
Представим ситуевину с другой стороны... Я, 50-летний мужик, который всю жизнь занимался изготовлением мебели на заказ...
Решил сайт сделать... Откуда я должен вообще знать что такое роботс.тхт и что можно запретить вообще от индексации поисковых систем...
Вы сейчас говорите, как спец., а зачастую заказчики таковыми не являются.
Если обе стороны адекватны, все решается одним телефонным звонком и несколькими минутами работы
Согласен на все 100% :))) но есть принципиальные люди.. которые готовы из-за мелочи капать на мозг неделю :)
Представим ситуевину с другой стороны... Я, 50-летний мужик, который всю жизнь занимался изготовлением мебели на заказ...
Решил сайт сделать... Откуда я должен вообще знать что такое роботс.тхт и что можно запретить вообще от индексации поисковых систем...
Вы сейчас говорите, как спец., а зачастую заказчики таковыми не являются.
Всякое бывает, но как правило у 50-летних мужиков есть веб-мастер или контент-менеджер, потому что им самим ой как не хочется копаться даже в ЦМС чтобы залить новый прайс-лист (и это вполне оправданное нежелание, в большинстве случаев).
Конечно, косяк студии, что не проследили за таким ключевым моментом.
Но я говорю только про данный случай, когда ТС в курсе того, что за роботс.тхт и с чем его кушают, и может оперативно решить проблему.
А может у них и есть ФАК или какая-то инструкция.
С другой стороны, если они так с роботс.тхт делают, возникают вопросы: что еще они туда напихали?
melkozaur добавил 03.10.2011 в 15:38
"МЫ для всех наших клиентов вставляем троян, сапу и еще кучу всякой фигни по умолчанию, а потом когда Ваш оптимизатор будет заниматься продвижением - он нас просит изменить его или удалить!!!!"
на сколько я понял студия занималась только тех.частью и дизайном? тогда правильно сделали, что закрыли! контент у вас наверняка был НЕоптимизированный, многие страницы пустовали и т.д. А нормальный оптимизатор первым делом при работе с сайтом открыл бы ваш роботс и прописал в нем: "Привет робот!" (с) 😂
Я хоть и не веб-студия, но на новых своих сайтах сам добровольно такой роботс вешаю :) И изменяю его ровно тогда, когда полностью оптимизирую сайт. Так что всё логично. Другое дело, если эта веб-студия не предупреждает своих клиентов, что с таким роботсом сайт просто не попадёт в индекс.
Глупости говорите. А что он на 4-5 уровневом домене не проиндексируется? :D
Если на то пошло, то лучше тестить на том же Денвере ... и будет счастье ..
нет, я имел ввиду там с роботсом забабахать
Что за студия? впалите падонкаф!