1) для Google лучше убрать директиву из robot.txt, т.к содержимое самого файла блокируется и он может не увидеть мета-тег. Пруф.
Из яндекса очень быстро удаляются страницы с метатегом noindex. Был случай, что сайт с 50000 страницами за пару дней вылетел из выдачи. Через вебмастер проверить url, можно увидеть что страница заблокирована метатегом.
2) Если присутствует директива Disallow: /bla/ то src=/bla/bla/bla.jpg - будет запрещен для индексации поисковыми системами.---------- Добавлено 07.04.2015 в 11:58 ----------
в отчете каким числом датировано, до или после снятия запрета?
Проверьте тут - открыть рекомендую все что попросит, в рамках разумного.
Советы от google:
Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.
Рекомендуемые действия:
Убедитесь, что Googlebot может сканировать JavaScript, CSS и графические файлы. Для этого в Инструментах Google для веб-мастеров есть функция Просмотреть как Googlebot. Эта функция моделирует процесс сканирования и отображения страниц. С ее помощью можно найти и исправить ошибки индексирования сайта.
Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.
Гугл говорит это — клоакинг.---------- Добавлено 01.04.2015 в 16:36 ----------
Добавьте сайт в вебмастер и посмотрите через вкладку проверки файла robots.txt, в старттопике указал ссылки.
Я открываю файлы(css, изображения), которые просит google.
тоже считаю что снятие ссылок на индексацию не повлияло..
User-agent: *
Disallow: /
Allow: /114
какой оператор? ---------- Добавлено 27.03.2015 в 13:44 ---------- Вошло много страниц, ура!
не понял сути
DR.web показал как троян при обновлении.. исправьте плиз..
я не понял, может кто-то другой подскажет 😕
