- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Закрыли, как гугл рекомендует?
Отличненько, сканирует PDF, и как их тогда закрывать, если они на хостинг, а не HTML страница?
(аналогичная ситуация, что и у ТС)
Помоему у большинства тут проблемы с понимаем назначения файла robots.txt.
Кто нибудь читал справки поисковиков или хотя бы по robots.txt?
🤣
Robots не имеет никакого отношения к управлению индексацией сайта.
И поисковики сами пишут что если хотите запретить индексацию страниц - то не запрещайте их в роботс, наоборот, нужно открыть их сканирование в robots.txt чтобы поисковик смог их просканировать и понять что они запрещены к индексации.
*рукалицо
Если страница уже в индексе, вы запретите ее посещать роботу - то по логике она должна навсегда остаться в нем в последней просканированной версии. И даже если добавить запрет на индексацию meta noindex - робот не сможет о нем узнать, потому что ему запрещено сканировать страницу.
Отличненько, сканирует PDF, и как их тогда закрывать, если они на хостинг, а не HTML страница?
(аналогичная ситуация, что и у ТС)
Ну там же написано:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)
У меня ситуация ещё забавнее.
В роботсе всё разрешено, но в консоли написано, что пару десятков страниц проиндексированы, не смотря на запрет в роботсе :)
У меня ситуация ещё забавнее.
В роботсе всё разрешено, но в консоли написано, что пару десятков страниц проиндексированы, не смотря на запрет в роботсе :)
В новой консоли часто сообщения запутанные. Похоже трудности перевода. Сообщения противоречат друг другу
sni, возможно, речь об этом - /ru/news/2011639
Ну там же написано:
смотрел:
https://support.google.com/webmasters/answer/93710
у меня PDF-документы, куда я его влеплю? если это независимый файл, а не страница.
Если уберу с роботса запрет, то часть трафа может пойти на документы. Такой трафик для многих бесполезный, и для меня также ...
Про рекомендательный характер давно в курсе. У него свои тараканы, если в на информационных сайтах временами не правильно определяет релевантность ...
А выбирает другую страницу, просто потому что на ее есть внешняя ссылка (без прямого анкора), а на релевантную - нет.
у меня PDF-документы, куда я его влеплю? если это независимый файл, а не страница.
В .htaccess:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex,nofollow"
</FilesMatch>
Выше уже успели отписать, поэтому немного повторюсь:
а) robots.txt - лишь рекомендация для Google.
б) Полностью запретить индексацию можно с помощью тега meta robots noindex. Однако это неприменимо в случае PDF, RSS-лент, картинок, XML и JSON. В теории для них может помочь заголовок X-Robots-Tag: noindex, nofollow.
в) Google считает, что он вправе залезть на сайте в каждую дырку, поэтому блокировать ресурсы от индексации он не рекомендует (за исключением закрытых страниц типа админки).
У меня 140 страниц вида /magazin/cart/add?category_id=29&product_id=1317 и /magazin/product/ajax_attrib_select_and_price/1578?ajax=1 залетели в индекс, тоже проиндексировано, несмотря на блокировку в файле robots.txt. Спрашивается какого? Отправил на перепроверку, жду результатов.