не знал, что robots.txt индексируется ))

19

danisimo

9 сентября 2010, 14:22

776

Ввожу низкочастотник, а в выдаче гугла выдается robots.txt моего сайта, где вместо тайтла отображается первые строки роботса а в сниппете Disallow: /низкочастотник

Никогда не думал что robots.txt может проиндексироваться как обычная страница и участвовать в поиске, глюк или нормально всё ?) :p

Способы интернет-заарботка без вложений (http://www.internet-zarabotok.net/)

150

Elven

9 сентября 2010, 15:00

#1

Ну, если это сумер-мега-низкочастотник, и больше нигде кроме как на вашем сайте не встречается, гуглу стыдно ничего не отдавать пользователю, вот он и подсовывает.

У меня как-то раз сайтмап выдал ;)

Но вообще любопытно, покажите плиз запрос и сайт? ;)

Блог практика маркетинга (http://marketnotes.ru/).

Сабмитер в RSS каталоги Внимание Кидала и Мошенник Пропала главная страница с

I

29

Ippi

9 сентября 2010, 23:02

#2

danisimo:
Никогда не думал что robots.txt может проиндексироваться как обычная страница и участвовать в поиске, глюк или нормально всё

По идее, всё нормально, txt-файлы индексируются гуглом. И не только они.

Ссылка на этот файл где-то была? Или, может, в аддурилку её случайно скормили?

Ippi добавил 10.09.2010 в 05:29

Кстати, о.

Распределение веса при запрете Прошу помощи. Карта сайта

T

109

tutonhamon_

10 сентября 2010, 05:20

#3

http://www.google.ru/#hl=en&source=hp&q=inurl%3Arobots.txt&aq=f&aqi=&aql=&oq=&gs_rfai=&fp=3ac974b9b37a9b0b :)

ТС, попробуйте продвинуть свой файл robots.txt в топ, многое интересное откроете для себя ;)

tutonhamon_ добавил 10.09.2010 в 09:21

бред, конечно, но зато вы поймете, что это такой же файл для ПС как и другие файлы

Гугл учит терпению!

Гугл палит запросы-источники трафика? Проверка файлов PHP Парсинг google - изменился

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов

Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ