- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Возникла проблема.
Переделывал один сайт. Переделывал его на "техническом" доменном имени на другом хостинге, чтобы видеть его он-лайн. Пока переделывал, естественно закрыл от индексации в robots.txt. После переделывания перенес сайт на новый хостинг уже со своим родным доменным именем. В robots.txt внес соответствующие замены, разрешающие индексировать контент.
Но возникла проблема! Страницы стали вылетать из индекса вообще, а на некоторых появляется надпись: "Содержимое заблокировано из-за robots.txt"
Начал копаться, посмотрел исходный код страниц. Везде стоит: <meta name="robots" content="noindex, nofollow" />
CMS Joomla. В ней можно поставить эти параметры для каждой страницы. Везде стоят "По умолчанию". Изменил у одной на index, follow - в исходном коде начало отображаться <meta name="robots" content="index, follow" />
Т.е. получается сайт берет параметры по умолчанию из какого-то другого места, а не из robots.txt , который лежит в корне.
Код файла
Лежит в корне папки public_html
Запрещать индексацию страниц можно И в robots.txt И мета-тэгами одновременно.
Robots.txt - удобен для масок на несколько страниц, и в движок сайта не надо лезть
Мета-тэги - на конкретную страницу, но позволяют более гибко управлять индексацией/проходу по ссылкам (index+nofollow, noindex+follow).
Сначала проверяется robots.txt, а потом - мета тэги. В панели вебмастера, запрет мета-тэгами может отражаться как "запрещён в robots.txt".
Для Яндекса можно протестировать тут.
Мало времени прошло. Можно платону отписать, чтоб быстрее глянули.
Все. Разобрался. Оказывается в Joomla запрет на индексацию есть и в роботсе, и для каждого материала по отдельности, и общий для сайта по умолчанию. Так вот этот общий стоял как запрет, и его наследовали все страницы. :(
Я все поменял назад, но пока я разбирался Google убрал мою стартовую страницу из индекса вообще. Хотя в Гугл картах сайт прекрасно виден.
И вот я думаю в чем проблема?
1) В том, что стоял некоторое время запрет на индексацию?
2) В том, что накануне я удалил из индекса Гугл штук 30-40 страниц этого сайта, которые вели на 404 ошибку?
3) В том, что стартовая страница поменяла свой контент?
1 вариант. проблема в запрете индексации..
1 вариант. проблема в запрете индексации..
И как думаете, как скоро страница вернется в индекс? Стаж сайта 5 лет, Тиц 10, PR -1, проблем с подозрительным контентом или вирусами никогда не было.
И главное, что делать, если пройдет долгое время, я сайт подобавляю в разные соц.закладки и каталоги, где его еще нет, а главная так и не войдет в Индекс?