Yandex и отсутствие robots.txt

Нет, не может.

Отсутствие robots.txt практически равноценно

User-agent: *

Disallow: 

Но, с другой стороны, что мешает Вам его создать?

Да я уже создал. После того как почитал про роботов яндекса и покопался в логах сайта.

При добавлении сайта через форму, яндекс упорно жаловался на то, что сайт недоступен. После просмотра логов было выявлено, что он смотрел наличие robots.txt, не находил его и все... После добавления robots.txt сразу все стало ок. В общем что-то странное.

На некоторых хостингах, особенно бесплатных, некорректно обрабатывается ошибка 404. Поэтому при отсутствии файла robots.txt будет выдаваться какой-нибудь редирект типа 302 на страничку хостера. Робот может и придраться, ему надо давать 200 либо 404.

Судя по логам роботу выдавалось именно 404... В общем, вывод один: лучше, чтобы robots.txt был, пусть даже и пустой :-)

Лучше не пустой, а с двумя строками:

User-agent: *

Disallow:

А ещё лучше

User-agent: *

Disallow: /vsyaki_hren/

Ниразу не возникали проблемы при отсутствии роботса, :)

но лучше все таки завести и прописать хост.