Очередной видеоролик от Google был посвящен вопросу использования файла robots.txt. В формате обучающего видео Мэтт Катс (Matt Cutts) ответил на следующий вопрос пользователя Corey S. из Пенсильвании: "Что лучше: создать пустой файл robots.txt или содержащий User-agent: *Disallow? А, может быть, можно и восе обойтись без файла robots.txt?" Заметим, что речь идет о том случае, когда вебмастер не желает закрывать информацию при сканировании роботом.
По мнению ведущего программиста Google, в данном случае подойдет любой из двух первых перечисленных вариантов. Кроме того, Мэтт Катс не советует вебмастерам пренебрегать файлом robots.txt, поскольку при его отсутствии веб-хост может выдавать страницу 404, что влечет нежелательные последствия. Однако паниковать не следует, потому что Google уже научился выявлять подобные явления и свел риск к минимуму. "Казусы" возможны лишь в 1% случаев.
Сам же Катс отметил что предпочитает, использовать вариант с User-agent: *Disallow - который позволяет поисковой системе определить, что вебмастер сознательно позволяет роботу индексировать все данные, имеющиеся на сайте. Пустой же файл поисковый робот может расценить как то, что данные были удалены разработчиком по ошибке.