- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Заметил, что в выдаче гугла есть много страниц которые закрыты в robots.txt.
Выдача выглядит следующим образом:
сайт.ru/components/com_jcomments/images/smilies/
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/18
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/11
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/15
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
Вопросов по этому поводу два:
1. Как от этого избавится?
2. Влияет ли это на репутацию сайта в гугле?
По первому вопросу мне кое-что известно. Для этого вроде нужно чтобы на страницы был прописан метатег robots noindex, но в коде своих страниц я этого метатега просто не вижу, хотя в админке значение этого метатега выставить можно. Сайт работает на Joomla 3.1.5.
1. Как от этого избавится?
Не избавитесь.
Запрет в роботсе вовсе не запрещает роботу ходить по страничкам и папкам.
Он просто исключает их из индекса.
2. Влияет ли это на репутацию сайта в гугле?
Не влияет.
Как от этого избавится?
закрой их в .htaceess
Вы смотрите через site:site.ru и долистываете до последней страницы штоле?
То, что оно там показывает, это н значит, что оно где-то их учитывает
Вы смотрите через site:site.ru и долистываете до последней страницы штоле?
То, что оно там показывает, это н значит, что оно где-то их учитывает
Да. Смотрю выдачу.
Показывает Результатов: примерно 96.
Всего 9 страниц.
Долистываю до 3 траницы. Стает в выдаче 3 страницы и выдается сообщение Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (28)
.
Нажимаю на Показать скрытые результаты.
Перехожу на третью страницу. И внизу и на на последующих страницах получаю ссылки типа.
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/18
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/11
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
сайт.ru/component/jcomments/feed/com_content/15
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
закрой их в .htaceess
Больше никаких вариантов нет?