- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Составляю файл robots.txt задался вопросом, что необходимо закрыть для правильной индексации
У меня сайт такой структуры
img/
text/
js/
page1.php
page2.php
pageN.php
Каждая страница берет текст (include('text/page1_t.php') из страниц, которые находятся в каталоге "text"
Вопрос:
1 нужно ли закрывать каталог text?
У меня двоякое мнение -если не закрыть, то не получится ли дублирование страниц?
Если закрыть, то проиндексируется ли текст в страницах page1-N.php?
Rot pfeffer, закрытие в robots запрещает доступ к каталогам со стороны клиента. У тебя есть ссылки на сайте на /text/*? Нет - закрывай. Поскольку php крутится на сервере, а не на клиенте, то все инклюды нормально отработают, роботс их не затронет.
Если не закрывать, тоже ничего не продублируется - роботу ничего не известно о существовании каталога /text.
Rot pfeffer, закрытие в robots запрещает доступ к каталогам со стороны клиента. У тебя есть ссылки на сайте на /text/*? Нет - закрывай. Поскольку php крутится на сервере, а не на клиенте, то все инклюды нормально отработают, роботс их не затронет.
Если не закрывать, тоже ничего не продублируется - роботу ничего не известно о существовании каталога /text.
Спасибо. Если правильно понял, то разницы нет, закрывать или не закрывать...
Спасибо. Если правильно понял, то разницы нет, закрывать или не закрывать...
Как сказать, как сказать... Тупым брутфорсом, особенно зная, что за CMS вы используете, можно разгадать физическую структуру сайта и слить всё полезное. Правда, закрыв всё в robots, можно дать не меньше информации. :) Но да Вы же не архивы Пентагона там храните?
Закрывать в robots.txt смысла не вижу.
Можете закрыть в .htaccess (его положить в папку text)
deny from all
тогда из браузера открываться ни один файл из этой папки не будет.