Robots.txt

F1ernandes
На сайте с 28.08.2006
Offline
2
485

Мой сайт находится на бесплатном хостинге, когда я набераю адрес своего сайта в строке поисковика, то тот ничего не выдает... Причем все страницы проиндексированы... Мне кажется, что вся причина в том, что у меня нет файла robots.txt.

Даже если это не так, то зачем нужен robots.txt и если на narod'е он не предусмотрен, могу ли я его написать и добавить к своему сайту?

https://fmmebel.com - Интернет магазин мебели
petro-88
На сайте с 07.06.2006
Offline
114
#1

основная функция Robots.txt это закрытие от индексации чего- либо.

скорее всего дело не в нём..

Когда сайт добавлял??

Vita
На сайте с 11.04.2006
Offline
50
#2

robots.txt нужен для того, чтобы закрыть от поисковых роботов страницы, не содержащие полезное для оптимизации наполнение (страница 404 и т.п.)

А в строке какого поисковика вы забиваете адрес?

Мне кажется, что вся причина в том, что у меня нет файла robots.txt

Скорее можно было бы предположить, что наоборот страницы закрыты robot-ом. Но это на вряд ли

6666
На сайте с 10.01.2005
Offline
505
#3

F1ernandes, на народе предусмотрен роботс тхт :) Сделайте его и положите в корень.

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .
lexalink
На сайте с 08.09.2005
Offline
271
#4

а почему это поисковик должен что-то выдавать? Сайт покажите ;)

Рад новым знакомствам ( арбитраж, майнинг, сео, трафик и т.д.) - @lexalink (https://t.me/lexalink)
A
На сайте с 25.10.2005
Offline
219
#5

F1ernandes,

Наберите в строке поисковика какую-нибудь уникальную фразу с сайта - и тогда видно будет - ищет Вас яндекс или нет. Урл сайта в стрке поиска может ничего и не дать - lexalink прав.

Гроссмейстер
На сайте с 15.01.2005
Offline
104
#6
зачем нужен robots.txt

Этот файл сообщает поисковым роботам (ботам), какие файлы они могут индексировать, а какие нет. Подробнее о robots.txt...

Отстутствие robots.txt никак не сказывается на индексации.

Андрей Муравьёв Временно заброшенный блог: «Заметки интернет-маркетолога (http://web-blog.ru/)» «Чтобы задать правильный вопрос, нужно знать большую часть ответа» © Цицерон.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий