- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
а как же такая организация?
/public_html/файлы сайта
и роботс читается именно тот который лежит не здесь /
а в файлах сайта /public_html/файлы сайта
О5 25!
Поисковый робот - не файловая система. Он стремится смотреть на сайт глазами пользователя. Пользователь видит ваш паблик несчастный ха-тэ-мэ-лэ? Нет. И Робот не видит.
Хотите знать, правильно ли положили robots.txt ? Наберите в броузере http://www.site.ru/robots.txt - и вы увидите то, что будет запрашивать робот.
Небольшой моментик у меня создал недоумение. Допустим, папка главная сайта - в ней /html/ (иногда это /www/) со всеми файлами и, собственно, с robots.txt, /cgi-bin/, /logs/ и другие служебные папки. Так вот, если в robots.txt прописать Disallow: /cgi-bin/, например, будет ли поисковик искать эту папку относительно папки /html/ (то бишь /html/cgi-bin/) или додумается спуститься на ступень ниже? Вроде бы очевидная вещь, да вот хотелось бы уточнить.
через HTTP Вы никогда не получите доступ к папке выше уровня корня... другое дело что cgi-bin - особая папка, специально обозначенная как папка для выполнения cgi-скриптов... и, соответственно, файлы этой папки доступны для исполнения по адресу http://www.site.ru/cgi-bin/blabla.cgi
nickspring, исключительно cgi-bin? Под tmp или logs папки, которые находяться в "/", данное правило не подходит и запретить их индексацию нельзя?
По-моему Вы путаете немного... обычно служебные папки сервера (logs, cgi-bin, tmp и прочее) просто помещаются в одном каталоге с папкой www (html и другие вариации) ... делается с учетом того, что обращаясь к сайту через браузер человек, робот ( не важно кто ) может получить доступ только к файлам корневой директории сайта т.е. www в данном случае (ну и ко всем вложенным в эту директорию данным)... т.е. к logs, tmp и прочей лабуде получить доступ через браузер в данном случае невозможно принципиально, и, соответственно, не имеет смысла их запрещать в robots.txt или еще где-либо... cgi-bin тоже лежит, как правило, рядом с logs, но, повторюсь, для него описывается специальное правило в конфигурации веб-сервера.