- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
/cgi-bin и /cdn-cgi - закрывать или нет в robots.txt?
Вы сами это должны решать. У вас может это веб страница полноценная на эту тему.
Если играть в экстрасенса, то больше похоже на внутренний каталог системы, который надо не роботсом решать, а запрещать доступ в принципе.
/cgi-bin и /cdn-cgi - закрывать или нет в robots.txt?
В эти служебные разделы вообще не должно быть публичного доступа.
Если играть в экстрасенса, то больше похоже на внутренний каталог системы
А если без экстрасенсов, то /cgi-bin - это стандартный каталог, автоматически создаваемый на многих хостингах. Служит для размещения скриптов - стандартный каталог для скриптов Perl.
закрывать или нет в robots.txt
Это смотря по тому, что у вас там размещено. Чаще всего там вообще пусто.
/cgi-bin и /cdn-cgi
содержимое этих категорий автоматически правилами апача защищено от индексации. т.е. если в этой категории лежит текстовый файл, он по любому никогда не сможет быть прочтен извне напрямую, в том числе и ПС
а вот если у вас там есть скрипты, которые что-то полезное делают для фронт энда, то они могут быть проиндексированы ПС, если они, ПС, об адресе этих скриптов узнают.