- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть магазин на опенкарт. В магазине включены ЧПУ вида domain.com/kategoriya/tovar.html
Средствами движка сгенерирована карта сайта, в которой кроме этих самых ссылок с ЧПУ (на товары и категории) больше ничего нет, никаких технических страниц типа корзины, профиля юзера.
Создан robots.txt вида
Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", причем блокируются как раз ссылки вида domain.com/kategoriya/tovar.html. Если удалить robots.txt то ситуация такая же, тоже ругается с той же ошибкой.
Также был сделан 301 редирект на сайт без www и в Google Webmaster в настройках указан основной сайт без www.
Фрагмент карты сайта
Фрагмент htaccess
Как заставить гугл нормально обрабатывать карту сайта?
плиз хелп...
неужели никто не знает?
неужели никто не знает?
Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."
Как заставить гугл нормально обрабатывать карту сайта?
Это же не критическая ошибка, а просто предупреждение, не стоит беспокоится.
Это же не критическая ошибка, а просто предупреждение, не стоит беспокоится.
Та не, гугл вебмастер написал, что добавлено 100 страниц и в индексе только 10, остальные - не добавлены, получается, по вышеуказанной причине
Вы посмотрите внимательней, там сообщения делятся на "ошибки" и "предупреждения". Если бы сообщение было бы из категории "ошибки", тогда другое дело.
Вы посмотрите внимательней, там сообщения делятся на "ошибки" и "предупреждения". Если бы сообщение было бы из категории "ошибки", тогда другое дело.
Почему тогда не проиндексились все страницы? Только 10 из 100? В карте сайта есть ссылки на все страницы, и они не должны запрещаться robots.txt