Во блин. И че делать, просто забить ?
Если бы знал, сразу бы закрыл сайт под пароль до окончания работ и настройки.
А так вышло, что кучу не готовых и кривых страниц, без текста итп он захавал ((
Это для меня тяжеловато :(
Уже пару недель, как убрал allow, закрыл все в dissalow http://sex-porn-xxx.com/robots.txt
Но гугл все равно продолжает жрать недоделанный сайт :( http://google.com/search?&q=site:sex-porn-xxx.com&filter=0
Он всегда так долго реагирует ? И потом просто выплюнет лишнее, или я опять где то накосячил ?
Спасибо за ответы!
200 сайт про рестораны
старт по ресторанам
Вернулся из отпуска. Заказы вновь принимаем, ранее поступившие - выполнил.
kimberlit предложите вариант для моей ситуации Вы :)
Если у меня не index.html, а index.php, то
User-agent: *
Allow: /*index.php$
Disallow: /
И поймут ли остальные поисковики, что надо проиндексировать именно главную а не страницу site.com/index.php ?
Жесть, никогда бы не подумал, что Гугл не поймет такой роботс :(
Allow: /$
Disallow: /*
Подскажите, а как тогда корректно сказать Гуглу, что нужно индексировать только главную и не трогать весь остальной сайт ?
Буду крайне признателен за готовый роботс. Заранее спасибо!
kimberlit, XPraptor ваша дискуссия меня еще больше запутала.
Я выложил сайт с вот таким роботсом:
Не знаю регулярные это выражения, или не регулярные :) но значить они должны следующее - индексировать только главную, не индексировать все остальное
Яндекс прекрасно понимает такой роботс и выдает при проверке индексации страниц http://yandex.ru/yandsearch?serverurl=24film.ru&lr=213 одну, главную.
А вот гугл выдает http://www.google.com/search?&q=site:sex-porn-xxx.com&filter=0
Уважаемый semenov написал, что остальных страниц, как бы и нет в индексе гугла.
А зачем же он тогда выдает ссылки на них ?
Т.е ничего плохого, что в индексе показывается недоработанный и не оптимизированный сайт нет и когда я захочу его раскрыть для нормальной индексации все будет ок ?
Спасибо за ответы.
Уезжаю в отпуск, смогу обработать все заявки с 03.06.
Всем спасибо!
