Использовать robots.txt или же нет?

конечно, у Яндекса, например на переиндексацию и вывод в результаты поиска уйдет не больше трех недель, даже если сайт например раньше числился запрещенным к индексации или зеркалом.

а что вы так волнуетесь:

у вас внешние ссылки на этот сайт ведут?

если не ведут и никто его ручками не добавит то никакой робот к вам не прийдет никогда

Я не знаю как работает Я-паук, но спамерские пауки на ура индексируют. Зарегил домен, пока повесил только застравку "сайт разрабатывается", дал координаты для связи, исесно никаких ссылок на него не ставил. Буквально через несколько дней уже повалился спам на указанный адрес!

Вот и я не знаю как Я-паук работает.

Берет ли он информацию с Ру-центра или же руководствуется только наличием ссылок, ведущих на сайт..

Хотелось бы узнать

Вы уверены что он берет информацию только от ссылок?

В принципе, существуют сайты со списками всех доменов зоны .ru - так что достаточно зайти на такой сайт, и уже других источников не надо. Даже урл добавлять не надо - сам найдется.

Думаю, есть нечто аналогичное и по другим зонам.

Opti, если не лень - дайте ссылку со списком всех сайтов, зарегиных в зоне .ru на данный момент

На многих сайтах видел, но сейчас пропали, нашел только

список русских доменов в зоне зоне .com

http://www.neystadt.org/russia/sites/com.htm

есть и в .ру, но очень старое.

Возможно после той истории в рЫгтаймом, провайдеры позакрывали такие списки.

Спамеры могут пользоватся такой страшной штукой как WOIS, если у вас есть зарегистрированый домен и там указано ваше мыло, то очень вероятно, что на него может прийти спамчик.

Соответственно и адреса спамеры, думаю могут брать от туда.

А яндексу этого делать совсем не обязательно.

Возможно, но в данном случае мыло на сайте и в контактах было разное, и спам пошел именно на то, что было на сайте.

Да и все равно, надо знать о том, что появился такой домен.

всем большое спасибо за участие в теме))