Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt запрещающий индексацию поисковиками.

[Удален]
1681

Подскажите, такой robots.txt запрещает поисковикам индексировать сайт или нет?

User-agent: Googlebot
Disallow:
User-agent: Slurp
Disallow:
User-agent: MSNBot
Disallow:
User-agent: *
Disallow: /

Вообще в этом не разбираюсь.:(

[Удален]
#1
User-agent: *
Disallow: /

Достаточно.

A
На сайте с 12.01.2006
Offline
61
Apalon
#2
Jokerovich:


Вообще в этом не разбираюсь.:(

http://robotstxt.org.ru/ 🍻

ГЛАВная фарма-партнерка. Удобные аптеки, детальная статистика, высокий конверт! (http://www.glavmed.com/) | 150$ Бонус всем новичкам в ПОКЕРЕ (http://ru.pokerstrategy.com/u1XCQ7) $$$ на дороге (http://www.sape.ru/r.b17970ce21.php)
W
На сайте с 16.10.2008
Offline
142
Webexpert
#3
Jokerovich:
Подскажите, такой robots.txt запрещает поисковикам индексировать сайт или нет?

Запрещает всем, кроме тех, которые Вы перечисляете выше: Googlebot, Slurp, MSNBot

Миледи: интернет-магазин украшений с природными камнями (https://milady-24.ru/)
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4
Webexpert:
Запрещает всем, кроме тех, которые Вы перечисляете выше: Googlebot, Slurp, MSNBot

Ага, но ещё бы пустые строки вставить бы ...

[Удален]
#5
Webexpert:
Запрещает всем, кроме тех, которые Вы перечисляете выше: Googlebot, Slurp, MSNBot

Вы уверены? Потому что как раз Гугл не индексирует этот сайт.

Что бы было понятно: домен сейчас на парковке и там автоматом стоит такой robots.txt. И в Гугле этого сайта уже нет месяц. До этого был. Пропал сразу после парковки! Вот я и думал, что из-за robots.txt, а Выговорите нет.

!!! Гугл индексирует любые сайты - даже на парковке. Это не Яндекс:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий