- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Из-за большой нагрузки на сервер поиск. роботами первый раз постраюсь их ограничить. Подскажите, правильно-ли вписал в robots.txt:
User-agent: Yandex
Crawl-delay: 0.5
User-agent: *
Disallow: /search
Crawl-delay: 4
Основная нагрузка с яндекса, у меня 10 сайтов, и в каждый добавл такие строки. Не мног/мало это для роботов, не ухудшит это индексацию? Через поиск сайчас толком ничего не найдёшь, везде под копирку "рекомендации яндекса", а как на самом деле влияет, подскажите кто знает. И правильно ли написал?
тоже интересует подобный вопрос, подскажите пожалуйста)
Написано правильно, особо никак не влияет (на глаз не неметно)..
А ограничение - 0.5, 1, 2 или 4 секунды это уже подбирать для конкретного случая?
Скажите, а правильно в такой последовательности указывать crawl-delay?
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /region_changer/
Disallow: /sendmail/
Disallow: /services.html?service=
Disallow: /notepad/
Disallow: /users/
Disallow: /add/
Disallow: /tags/
User-agent: Yandex
Crawl-delay: 2
User-agent: *
Disallow: /search
Crawl-delay: 4
Правильно. Я бы только Disallow: /search перенёс выше, там где все директивы Disallow - так лаконичней будет.
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /*redirect.php
Disallow: /*redirect
Disallow: /search
Crawl-delay: 4
User-agent: Yandex
Crawl-delay: 2
Так?
---------- Добавлено 25.03.2013 в 21:29 ----------
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /region_changer/
Disallow: /sendmail/
Disallow: /services.html?service=
Disallow: /notepad/
Disallow: /users/
Disallow: /add/
Disallow: /tags/
Disallow: /search
Crawl-delay: 4
User-agent: Yandex
Crawl-delay: 2
Пожалуй так:
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /region_changer/
Disallow: /sendmail/
Disallow: /services.html?service=
Disallow: /notepad/
Disallow: /users/
Disallow: /add/
Disallow: /tags/
Disallow: /search
User-agent: Yandex
Crawl-delay: 2
User-agent: *
Crawl-delay: 4
Попробую так
Скажите, а правильно в такой последовательности указывать crawl-delay?
В такой последовательности не правильно указывать User-agent. На странице может быть только одна общая секция *.
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /region_changer/
Disallow: /sendmail/
Disallow: /services.html?service=
Disallow: /notepad/
Disallow: /users/
Disallow: /add/
Disallow: /tags/
Disallow: /search
Crawl-delay: 4
User-agent: Yandex
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /region_changer/
Disallow: /sendmail/
Disallow: /services.html?service=
Disallow: /notepad/
Disallow: /users/
Disallow: /add/
Disallow: /tags/
Disallow: /search
Crawl-delay: 2
siv1987, подскажите, не слишком ли длинный получился robots.txt?
User-agent: *
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /sendmail/
Disallow: /services.html
Disallow: /add/select/cat/
Disallow: /add/select/region/
Disallow: /css/
Disallow: /js/
Disallow: /pay/
Disallow: /change_region/
Disallow: /region_changer/
Disallow: /users/
Disallow: /*users
Disallow: /cgi-bin/
Disallow: /billing/
Disallow: /commands/
Disallow: /includes/
Disallow: /locale/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /profile
Disallow: /registration
Disallow: /*type=
Disallow: /*noimg=
Disallow: /*price=
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /*redirect.php
Disallow: /*redirect
Crawl-delay: 4
User-agent: Yandex
Disallow: /admin/
Disallow: /fckeditor/
Disallow: /sendmail/
Disallow: /services.html
Disallow: /add/select/cat/
Disallow: /add/select/region/
Disallow: /css/
Disallow: /js/
Disallow: /pay/
Disallow: /change_region/
Disallow: /region_changer/
Disallow: /users/
Disallow: /*users
Disallow: /cgi-bin/
Disallow: /billing/
Disallow: /commands/
Disallow: /includes/
Disallow: /locale/
Disallow: /smarty/
Disallow: /templates/
Disallow: /uploads/
Disallow: /profile
Disallow: /registration
Disallow: /*type=
Disallow: /*noimg=
Disallow: /*price=
Disallow: /*users=
Disallow: /*name=
Disallow: /*from=
Disallow: /*notepad
Disallow: /*redirect.php
Disallow: /*redirect
Crawl-delay: 2