Форум Практика оптимизации Любые вопросы от новичков по оптимизации

вопрос по robots.txt

D
На сайте с 13.07.2003
Offline
49
dotsly
347

сначала я не создавал robots.txt

гугл на нем генерировал 404-ю ошибку

я решил создать robots.txt, прописал там

User-agent: *

Disallow:

после чего заходил бот мсн-а (раньше его не было) и съел только индекс, дальше не пошел

и гугл тоже заходил пару раз и съел только индекс, а до этого ходил по всему сайту

может что-то не так в robots.txt ?

может лучше его удалить как и было раньше?

Netsah
На сайте с 21.11.2003
Offline
158
Netsah
#1

Не в файле дело, оставь так как есть

Детям - мороженое, женщинам - цветы.
S
На сайте с 25.12.2003
Offline
173
Saney
#2
Как писал dotsly
сначала я не создавал robots.txt
гугл на нем генерировал 404-ю ошибку
я решил создать robots.txt, прописал там
User-agent: *
Disallow:

после чего заходил бот мсн-а (раньше его не было) и съел только индекс, дальше не пошел
и гугл тоже заходил пару раз и съел только индекс, а до этого ходил по всему сайту
может что-то не так в robots.txt ?
может лучше его удалить как и было раньше?

Потому-что этими 2-я строчками ты запретил индексацию всего сайта.

User-agent: *

Disallow: /cgi-bin/

хватит этого, или вообще удали этот файл.

Красивые сниппеты Google ( https://saney.com/tools/google-snippets-generator.html )
D
На сайте с 13.07.2003
Offline
49
dotsly
#3
Как писал Saney


Потому-что этими 2-я строчками ты запретил индексацию всего сайта.

User-agent: *
Disallow: /cgi-bin/

хватит этого, или вообще удали этот файл.

тут http://www.robotstxt.org/wc/exclusion-admin.html

и тут

написано что этими строчками дается доступ ко всему сайту

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий