- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброе утро:)
Подскажите, кто в курсе. Зачем закрывать /cgi-bin/ в robots.txt? Это связано с зеркалами с www и без? Спасибки.
насколько я знаю, в этой директории просто находятся скрипты (приложения) для сервера + см.здесь http://ru.wikipedia.org/wiki/CGI
а на счёт зеркал - это прописывается либо в robots.txt, либо в файле .htaccess (может быть и ещё где-то).
Что бы бот проиндексировал что нибудь полезное вместо того, что б лазить по подобного рода папкам :)
С зеркалами это не связано.
Смотреть надо по ситуации, используя свою голову. Бывает, что у сайта все страницы генерятся скриптами, как раз расположенными в /cgi-bin . В этом случае эту папку закрывать от индексации не нужно :).
Запрещают, если там есть что-то такое, что не нужно или нельзя индексировать.