Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Найти robots.txt

12
Fat Bear
На сайте с 01.12.2006
Offline
264
Fat Bear
#11

Если файл robots.txt на сайте есть и отдаётся только поисковикам, а для людей его не видно, то в любом случае, для этого должно быть прописано какое-то правило. И скорее всего, прописано в файле htaccess.

И опять же, если robots.txt отдаётся только поисковикам - то его с помощью сервисов поисковых систем можно обнаружить. В панели вебмастера Яндекса, например.

Если поисковики robots.txt не видят - то смело заливайте на сайт свой. И пишите в нём то, что вам нужно.

Открыть счёт в Capitalist ( https://capitalist.net/reg?from=e5707ff0c3 ). Виртуальные карты, USDT, банковские переводы, выплаты партнёрских программ. Push-партнёрка с высоким рейтом hClicks(https://hclicks.com/?ref=61dc0714).
htaccess нужна помощь, сложное Виден ли сайт сделанный Утеря доступа к домену,
SeVlad
На сайте с 03.11.2008
Offline
1609
SeVlad
#12

Если яндекс его не видит, то его нет. Обратное утверждение тоже верно ;)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#13
Appleman:
Здравствуйте, дорогие серчане!
Понадобилось мне найти robots.txt сайт.ru. По ссылке сайт.ru/robots.txt его нет. По ссылке поддомен.сайт.ru/robots.txt тоже. Но то, что роботс у сайта имеется я знаю стопроцентно!!! Может есть сервиса по нахождение роботса?

А можно найти любой другой роботс на любом другом сайте. Стопроцентно!

Иван Чередов (http://ivan.cheredov.com/about/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий