- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Составляю файл robots.txt задался вопросом, что необходимо закрыть для правильной индексации
У меня сайт такой структуры
img/
text/
js/
page1.php
page2.php
pageN.php
Каждая страница берет текст (include('text/page1_t.php') из страниц, которые находятся в каталоге "text"
Вопрос:
1 нужно ли закрывать каталог text?
У меня двоякое мнение -если не закрыть, то не получится ли дублирование страниц?
Если закрыть, то проиндексируется ли текст в страницах page1-N.php?
Rot pfeffer, закрытие в robots запрещает доступ к каталогам со стороны клиента. У тебя есть ссылки на сайте на /text/*? Нет - закрывай. Поскольку php крутится на сервере, а не на клиенте, то все инклюды нормально отработают, роботс их не затронет.
Если не закрывать, тоже ничего не продублируется - роботу ничего не известно о существовании каталога /text.
Rot pfeffer, закрытие в robots запрещает доступ к каталогам со стороны клиента. У тебя есть ссылки на сайте на /text/*? Нет - закрывай. Поскольку php крутится на сервере, а не на клиенте, то все инклюды нормально отработают, роботс их не затронет.
Если не закрывать, тоже ничего не продублируется - роботу ничего не известно о существовании каталога /text.
Спасибо. Если правильно понял, то разницы нет, закрывать или не закрывать...
Спасибо. Если правильно понял, то разницы нет, закрывать или не закрывать...
Как сказать, как сказать... Тупым брутфорсом, особенно зная, что за CMS вы используете, можно разгадать физическую структуру сайта и слить всё полезное. Правда, закрыв всё в robots, можно дать не меньше информации. :) Но да Вы же не архивы Пентагона там храните?
Закрывать в robots.txt смысла не вижу.
Можете закрыть в .htaccess (его положить в папку text)
deny from all
тогда из браузера открываться ни один файл из этой папки не будет.