Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Срочно нужна помощь по robots.txt

[Удален]
353

Ситуация такая. У одного клиента в корне найден такой роботс. Страницы пока все в поиске.

User-Agent: *
Disallow:
Host: site.net

Знаю, что 

Disallow:/

Запрещает индексацию всего сайта.

А если как в этом случае 

Disallow:
Как воспринимается ПС так-же?
iren K
На сайте с 28.12.2008
Offline
222
iren K
#1

если есть сомнения - сюда заходим и чекаем

c уважением Iren
[Удален]
#2
iren K:
если есть сомнения - сюда заходим и чекаем

Ничего не понял из этого сервиса.

Неадекватный
На сайте с 12.07.2012
Offline
12
Неадекватный
#3
Tolko-vpered:
А если как в этом случае 
Disallow:
Как воспринимается ПС так-же?

Ничего не запрещает ни одному из ботов.

IL
На сайте с 20.04.2007
Offline
435
ivan-lev
#4

https://www.google.ru/search?q=robots.txt - так можно найти информацию

Disallow:

показывает, что ничего не запрещено

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
V
На сайте с 01.03.2008
Offline
62
Vimaz
#5
iren K:
если есть сомнения - сюда заходим и чекаем

Проверил свой robots.txt через указанный сервис. Ругается: мол, перед вторым блоком запрещенных страниц тоже должен стоять User-agent ! А Яндекс.Вебмастер не видит ошибок в моем файле. Кому доверять?

Вот мой robots.txt (часть его): 

User-agent: * 

Disallow: /manager/

Disallow: /?

Disallow: /*?print*

Host: сайт.ru 



Disallow: /test.html

Disallow: /tag55.html

Disallow: /tag55.html?

Disallow: /tag55&

Disallow: /index.php$

Disallow: /index.html$



Sitemap: http://сайт.ru/sitemap.xml
Как быстро узанть, забанен куда пропала главная страница? Google индексирует папку несмотря

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий