- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Гугл ругается на файл роботс, мол тот блокирует важные страницы. Всего на сайте около 830 страниц из низ 30% блокируется файлом (по гуглу). Сайтмап делал в обычном генераторе и с ним вроде все ок. Но что не так с самим файлом роботс и что гуглу в нем не нравится? Подскажите пожалуйста.
вот сам файл роботс:
User-agent: *
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*
Disallow: /*%*
Disallow: /*?*
Disallow: /*bycategory_name*
Disallow: /*bymf_name*
Disallow: /*byordering*
Disallow: /*byproduct_*
Disallow: /*cart*
Disallow: /*category_name*
Disallow: /*component*
Disallow: /*created_on*
Disallow: /*dirdesc*
Disallow: /*feed*
Disallow: /*flypage=*
Disallow: /*keyword=*
Disallow: /*lichnyj-kabinet*
Disallow: /*log-in*
Disallow: /*lost-*
Disallow: /*mf_name*
Disallow: /*pop=*
Disallow: /*print*
Disallow: /*product*
Disallow: /*recommend*
Disallow: /*results*
Disallow: /*rezultaty*
Disallow: /*search*
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /index.php?*
Disallow: /index2.php*
Disallow: /language/
Disallow: /libraries/
Disallow: /magazin/*/manufacturer/*
Disallow: /manufacturer/*
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /shop/ask/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /your-details*
User-agent: Yandex
Allow: /*.js*
Allow: /*.css*
Allow: /*.png*
Allow: /*.jpg*
Allow: /*.gif*
Disallow: /*%*
Disallow: /*?*
Disallow: /*bycategory_name*
Disallow: /*bymf_name*
Disallow: /*byordering*
Disallow: /*byproduct_*
Disallow: /*cart*
Disallow: /*category_name*
Disallow: /*component*
Disallow: /*created_on*
Disallow: /*dirdesc*
Disallow: /*feed*
Disallow: /*flypage=*
Disallow: /*keyword=*
Disallow: /*lichnyj-kabinet*
Disallow: /*log-in*
Disallow: /*lost-*
Disallow: /*mf_name*
Disallow: /*pop=*
Disallow: /*print*
Disallow: /*product*
Disallow: /*recommend*
Disallow: /*results*
Disallow: /*rezultaty*
Disallow: /*search*
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /index.php?*
Disallow: /index2.php*
Disallow: /language/
Disallow: /libraries/
Disallow: /magazin/*/manufacturer/*
Disallow: /manufacturer/*
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /shop/ask/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /your-details*
Host: sitename.com
Sitemap: http://sitename.com/sitemap.xml
Вы сами роботс составляли?
Скорее всего, в sitemap.xml присутствуют адреса страниц, закрытых в robots.txt - попробуйте их оттуда убрать.
роботс составлял человек, который и создавал сайт
---------- Добавлено 16.12.2016 в 14:20 ----------
Скорее всего, в sitemap.xml присутствуют адреса страниц, закрытых в robots.txt - попробуйте их оттуда убрать.
убрать из файла сайтмап?
хотя сам файл роботс мне не очень нравится, почему его составитель поставил allow для скриптов и так далее?