- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Возникла проблема.
Переделывал один сайт. Переделывал его на "техническом" доменном имени на другом хостинге, чтобы видеть его он-лайн. Пока переделывал, естественно закрыл от индексации в robots.txt. После переделывания перенес сайт на новый хостинг уже со своим родным доменным именем. В robots.txt внес соответствующие замены, разрешающие индексировать контент.
Но возникла проблема! Страницы стали вылетать из индекса вообще, а на некоторых появляется надпись: "Содержимое заблокировано из-за robots.txt"
Начал копаться, посмотрел исходный код страниц. Везде стоит: <meta name="robots" content="noindex, nofollow" />
CMS Joomla. В ней можно поставить эти параметры для каждой страницы. Везде стоят "По умолчанию". Изменил у одной на index, follow - в исходном коде начало отображаться <meta name="robots" content="index, follow" />
Т.е. получается сайт берет параметры по умолчанию из какого-то другого места, а не из robots.txt , который лежит в корне.
Код файла
Лежит в корне папки public_html
Запрещать индексацию страниц можно И в robots.txt И мета-тэгами одновременно.
Robots.txt - удобен для масок на несколько страниц, и в движок сайта не надо лезть
Мета-тэги - на конкретную страницу, но позволяют более гибко управлять индексацией/проходу по ссылкам (index+nofollow, noindex+follow).
Сначала проверяется robots.txt, а потом - мета тэги. В панели вебмастера, запрет мета-тэгами может отражаться как "запрещён в robots.txt".
Для Яндекса можно протестировать тут.
Мало времени прошло. Можно платону отписать, чтоб быстрее глянули.
Все. Разобрался. Оказывается в Joomla запрет на индексацию есть и в роботсе, и для каждого материала по отдельности, и общий для сайта по умолчанию. Так вот этот общий стоял как запрет, и его наследовали все страницы. :(
Я все поменял назад, но пока я разбирался Google убрал мою стартовую страницу из индекса вообще. Хотя в Гугл картах сайт прекрасно виден.
И вот я думаю в чем проблема?
1) В том, что стоял некоторое время запрет на индексацию?
2) В том, что накануне я удалил из индекса Гугл штук 30-40 страниц этого сайта, которые вели на 404 ошибку?
3) В том, что стартовая страница поменяла свой контент?
1 вариант. проблема в запрете индексации..
1 вариант. проблема в запрете индексации..
И как думаете, как скоро страница вернется в индекс? Стаж сайта 5 лет, Тиц 10, PR -1, проблем с подозрительным контентом или вирусами никогда не было.
И главное, что делать, если пройдет долгое время, я сайт подобавляю в разные соц.закладки и каталоги, где его еще нет, а главная так и не войдет в Индекс?