Яндекс внес изменения в обработку файла robots.txt

Индексирующий робот Яндекса перестанет учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Команда Яндекс.Поиска сообщила об изменениях в обработке директивы Allow в файле robots.txt. Теперь поисковые роботы Яндекса перестанут учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Allow_1

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Сейчас оно игнорируется при обнаружении в robots.txt.

Если вебмастер намеренно использует пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Allow_2

Проверить, что разрешено, а что запрещено в robots.txt можно в Яндекс.Вебмастере. Команда поиска Яндекса рекомендует обратить особое внимание на пустые значения для Allow - если нужно запретить индексирование, то их быть не должно.

Важность корректного заполнения файла robots.txt трудно переоценить. Из-за несоблюдения определенных условий вебмастер может, как собственноручно ошибочно запретить доступ к своему сайту, так и рискует попаданием в результаты поиска тех файлов и документов, которые желал бы закрыть от индексации. Для того, чтобы все установленные директивы корректно использовались роботом при посещении сайта, необходимо соблюдать ряд условий, перечисленных ранее Платоном Щукиным.

subscribe

Подпишитесь на рассылку SearchEngines

preview Google поддержал Транстихоокеанское партнёрство

Google поддержал Транстихоокеанское партнёрство

Google одобрил соглашение о Транстихоокеанском партнёрстве (TТП), целью которого является создание зоны свободной торговли в Азиатско-Тихоокеанском регионе
preview В Google Analytics доступна детальная сегментация трафика с iOS-устройств

В Google Analytics доступна детальная сегментация трафика с iOS-устройств

В Google Analytics появилась детальная сегментация трафика, поступающего с мобильных устройств на iOS
preview Google представил новую функцию Nearby в Android

Google представил новую функцию Nearby в Android

Компания Google анонсировала новую функцию Nearby в операционной системе Android...
preview Google обвиняют в манипуляциях в пользу Хиллари Клинтон

Google обвиняют в манипуляциях в пользу Хиллари Клинтон

Президентская кампания в США захватывает в орбиту политической борьбы всё новых участников, не оставляя в стороне и интернет-компании
preview Госдума РФ окончательно приняла закон о новостных агрегаторах

Госдума РФ окончательно приняла закон о новостных агрегаторах

Депутаты Госдумы Российской Федерации одобрили в последнем, третьем, чтении закон о новостных агрегаторах
preview Ларри Пейдж финансирует создание летающих автомобилей

Ларри Пейдж финансирует создание летающих автомобилей

Сооснователь Google Ларри Пейдж (Larry Page) лично финансирует два стартапа по разработке летающих автомобилей. Об этом сообщает Bloomberg со ссылкой на свои источники