Если разрешить индексацию всего сайта пароли хостинга могут попасть в поиск?

1 234 5
Sly32
На сайте с 29.03.2012
Offline
303
#21
Иван Т #:
Картинки я так открывал.

попробуй понять разницу между движком сайта и его конфигами и контентом сайта. Ты можешь не знать не то что про движок - даже на каком языке написан сайт. Роботс  и тэги отвечают не за ВИДИМОСТЬ а за ИНДЕКСАЦИЮ в поисковых системах. 

K
На сайте с 03.10.2016
Offline
89
#22
Иван Т #:

Движок был изначально форумный. Потом я нанял программиста и он из него сделал сайт. 

А месье знает толк в извращениях)

ИТ
На сайте с 27.02.2024
Offline
13
#23
Sly32 #:
попробуй понять разницу между движком сайта и его конфигами и контентом сайта. Ты можешь не знать не то что про движок - даже на каком языке написан сайт. Роботс  и тэги отвечают не за ВИДИМОСТЬ а за ИНДЕКСАЦИЮ в поисковых системах.

Спасибо. Я новичок в СЕО. Погуглю, почитаю.

kalmarsw #:
А месье знает толк в извращениях

Хотел сделать хороший форум. 2 месяца развивал его подолгу и толку было ноль. Понял, что никому это не надо. Решил сделать сайт. Переделали с программистом и стал наполнять статьями. И трафик пошёл. Через 3 месяца после этого трафик был уже 500 человек в сутки с Яндекса. Это разве плохо?

ИТ
На сайте с 27.02.2024
Offline
13
#24
Помогите, пожалуйста, сделать нормальный роботс.тхт. Я так понимаю надо сделать нормальный и отдельно прописать юсер агент для Яндекса Гугла и прочих ПС. Да?
bobolab
На сайте с 08.04.2008
Offline
203
#25
Иван Т #:
Помогите, пожалуйста, сделать нормальный роботс.тхт. Я так понимаю надо сделать нормальный и отдельно прописать юсер агент для Яндекса Гугла и прочих ПС. Да?

вот генератор есть https://pr-cy.ru/robots/

если ты хочешь все разрешить, то тебе роботс не нужен ибо он используется, чтобы сказать ботам куда им не ходить...

Разница между файлом Sitemap и robots.txt
Разница между файлом Sitemap и robots.txt
  • pr-cy.ru
Карта сайта (Sitemap) указывает поисковым ботам на все страницы сайта, доступные для индексации и показывает, как часто обновляется контент. Файл robots.txt содержит не список всех доступных для индексации страниц, а правила для индексации существующих.
Аналог РСЯ https://u.to/j03BHw Видео реклама https://u.to/e03BHw
ИТ
На сайте с 27.02.2024
Offline
13
#26
Давайте сделаем так. Я в эту пятницу сделаю файл роботс.тхт нормальный, который будет отдельно для Яндекса, Гугла и прочих ПС. Опубликую его здесь. А вы скажите нормальный он или нет и что в нём лучше и как поправить. Ладно?
sergv
На сайте с 13.04.2006
Online
413
#27
bobolab #:
то тебе роботс не нужен
Все равно лучше сделать и положить, чтобы не забивать логи 404 ошибками его отсутствия.
https://REGHOME.ru - регистрация и продление доменов от 169₽ в российских и международных зонах по честным ценам без звездочек. (R01, WebNames, UK2). Принимаем Ю-Money, Visa, MasterCard, Мир
K
На сайте с 03.10.2016
Offline
89
#28
Иван Т #:

Спасибо. Я новичок в СЕО. Погуглю, почитаю.

Хотел сделать хороший форум. 2 месяца развивал его подолгу и толку было ноль. Понял, что никому это не надо. Решил сделать сайт. Переделали с программистом и стал наполнять статьями. И трафик пошёл. Через 3 месяца после этого трафик был уже 500 человек в сутки с Яндекса. Это разве плохо?

Неплохо. Просто делать сайт статейник, переписывая движок форума с помощью стороннего программиста это так себе идея. В дальнейшем тебе на каждую техническую потребность что-то сделать на сайте, придется приглашать человека, который будет ковырять код, пилить костыли и т.д.  Для сайта статейника лучше использовать CMS. ВордПресс например 

ИТ
На сайте с 27.02.2024
Offline
13
#29
kalmarsw #:
Для сайта статейника лучше использовать CMS. ВордПресс например 

Спасибо.

ИТ
На сайте с 27.02.2024
Offline
13
#30

Сделал файл роботс. Напоминаю, что статьи имеют урл вида - https://site.ru/viewtopic.php?id=197 Рубрики https://site.ru/viewforum.php?id=6 также если зайти в статью с главной страницы сайта урл имеет вид https://site.ru/viewtopic.php?pid=197#p197

------------------------------------------------------------

User-agent: Yandex

Disallow: /admin/

Disallow: /cache/

Disallow: /include/

Disallow: /extensions/

Disallow: /lang/

Disallow: *feed*

Disallow: *pid*

Disallow: *statistic*

Disallow: *print*

Disallow: *cid*

Disallow: *userlist*

Disallow: *search*

Disallow: *register*

Disallow: *login*

Disallow: *reputation*


Clean-param: amp&pid&action&print&cid


User-agent: Googlebot

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/


User-agent: Mail.Ru

Disallow: /admin/

Disallow: /cache/

Disallow: /include/

Disallow: /extensions/

Disallow: /lang/

Disallow: *feed*

Disallow: *pid*

Disallow: *statistic*

Disallow: *print*

Disallow: *cid*

Disallow: *userlist*

Disallow: *search*

Disallow: *register*

Disallow: *login*

Disallow: *reputation*


Clean-param: amp&pid&action&print&cid


User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/


Allow: /*/*.js (не уверен что это правильно)

Allow: /*/*.css  (не уверен что это правильно)

---------------------------------------------------------------

Как-то так. Подскажите, плиз, всё верно?

1 234 5

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий