Гугл не хочет индексировать страницы сайта. URL недоступен

Кривой роботс-то. С диким косячьем.

да нормальный роботс что с ним не так? я пробывал его вообще удалять ситуация остаётся такой же

Ну как минимум сайтмап сверху убери и помести вниз. host снеси - устарела директива, теперь она вообще не нужна. Пропущенные строчки тоже снеси, формально после них директивы уже не учитываются.

Ну и проверяй файл на ошибки и запреты в панелях вебмастеров - там же всё предельно наглядно.

гугл говорит что я сайт закрыл но он же не закрыт. этот роботс скопирован с моего другого сайта где все хорошо.

Гугл себя введёт как будто у меня там стоит

User-agent: *

Disallow: /

На редиректы сайт проверь. Че то на самом деле непонятное.

домен нулячий, вчера SSL прикрутил.

вот яндекс всё ок начал бегать робот по сайту.

В выдаче по запросу robots.txt на первой странице находятся он-лайн генераторы этого файла. Воспользуйтесь и счастье наступит ))

при чём здесь генератор? ГУГЛ говорит, что я закрыл сайт от роботов. Что Генератор? написать лишь бы написать?

Открой /css/.

Wnet1992, Вам же уже сказали, что пустые строки в этом файле - ошибка. Я Вам посоветовал генератор, который таких ошибок не делает. Но Вы же умнее гугла, а файл на сервере всё тот же, с ошибками. Продолжайте в том же духе, путь верный ))