Как в друпале отключить стандартный robots.txt

SeOToM
На сайте с 14.11.2009
Offline
126
1512

Все выходные ломал голову, почему Гугл отказывается индексировать сайт. Вроде понял, что в друпале есть функция, которая создает свой роботс. Подскажите где её искать, как отключить, уже всю админку перерыл...

Appassionato
На сайте с 22.06.2010
Offline
329
#1

А поправить сам файл роботс.тхт религия не позволяет? :)

Друпал создает болванку файла. Дальше правьте на свое усмотрение.

Хостинг Работает, как Часы ( http://tinyurl.com/nze85xw ). Проверено за 11+ лет.
SeOToM
На сайте с 14.11.2009
Offline
126
#2

Appassionato, да в том то и дело, что сразу после переноса сайта на друпал я залил нормальный роботс. А панель вебмастера гугл мне в упор показывает другое содержание, вот такое:

User-agent: *

Disallow: /

IL
На сайте с 20.04.2007
Offline
435
#3

А в robots.txt другое лежит? Если "да" - редирект для него отключить..

# сразу после RewriteEngine on

RewriteRule ^robots\.txt$ - [L]
... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
Appassionato
На сайте с 22.06.2010
Offline
329
#4

Проверьте, для начала, что Вам отдается по хттп://ваш_сайт/robots.txt.

Друпалу (ядру) на обработку из коробки идут только URL, которые не существуют физически.

Если реальный файл роботс.тхт и отдаваемый через веб не совпадают. - Смотрите, что написано в .htaccess. Если там чисто, то, может быть, хостер что-то химичит.

Garin33
На сайте с 31.08.2009
Offline
169
#5

По умолчанию друпал ничего не блокирует, никак не мешает работе сайта/роботса. В корне лежит файл robots.txt - его и менять нужно. Если установлен модуль http://drupal.org/project/robotstxt или http://drupal.org/project/domain_robotstxt, то тогда файла нет в корне, и искать настройки нужно в админке сайта.

Потому что Drupal - это круто.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий