- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый дент !
Хочу посоветоваться по настройке robots.txt
У меня в директории много папок ( в каждом из них информация, скрипты) - хотелось бы запретить индексирования этих папок.
Это делается так:
User-agent: *
Disallow: /папка1/
Disallow: /папка2/
Правильно? А какую команду еще нужно записать, чтоб кроме этих директорий, бот проиндексировал все остальные папки, на которых нет запрета? Или это by default идет - ничего не нужно написать кроме запретов? Объясните этот момент, пожалуйста.
Так же, интересно было узнать вот что. У меня в хостинге идет вот так: как заходишь в ФТП, показывается папки _private, WWW, public_html
ВОПРОС - куда загрузить файл роботс.тхт ? Если в директорию /public_html/ - то нужно же указывать имя этой папки в роботс.тхт, например - Disallow: /public_html/папка2/ ?
* в public_html хранится все файла сайта.
Еще вопрос - как влияет на трафик появление ботов ? Нужно ли запретить всех ботов, оставляя только Яндекса, Гугла и других известных?
А как управлять трафиком уже выбранных, известных ботов? Можно ли ставить ограничения чтоб они не забрали весь трафик ?
И на последок, что значит вот это : Crawl-Delay: 10 ?
VadimRU, да, правильно вы написали. Остальное, что не запрещено, то разрешено. Роботс выкладывается в корневую директорию сайта, оттуда и пляшет (public_html в роботсе писать - не нужно). www и public_html - обычно, одно и то же. Или вы файлы в обеих папках обновляете?
Туда и положите.
По роботам: это уже по ситуации (бывает звереют) и на ваше усмотрение.
Crawl-delay: первое, что попалось - http://notes.webartsolutions.com/archives/000011.html, пользуйтесь поиском.
помещаете файл в одну директорию с index ом
все что не запреще индексируется по ссылкам
ботов можно не отменять, чем больше тем лучше
а трафика мало не бывает!
VadimRU, public_html - это корневая папка веб-документов, именно в нее надо класть файл robots.txt.
Нет, не нужно.
Это дополнительная инструкция, которую понимают только роботы MSN и Yahoo, она задает временной промежуток между запросами робота. Хотя Вам ссылку уже дали. ;)