- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Лазил в нете. Нашёл следующее:
http://searchengine.com/robots.txt
Вопрос. Как Вы думаете, имеет смысл создавать такой "продвинутый" robots.txt или это лишнее? :rolleyes:
Не открывается. Поправьте пожайлуста.
я считаю в сео все должно быть по полочкам т.е. ничего лишнего.
Не открывается. Поправьте пожайлуста.
Всё нормально. Проверьте, пожалуйста, ещё раз.
я считаю в сео все должно быть по полочкам т.е. ничего лишнего.
Оно, конечно, так. Но лишним ли является такая простыня в роботс или всё-тки пользу она приносит - вот вопрос. ☝
Psycho, если боты так сильно грузят ваш сайт, то да имеет смысл, если вас пока это не сильно напрягает, то и смысла нет делать такой robots.txt
если боты так сильно грузят ваш сайт, то да имеет смысл,
А не надежнее ли их через .htacces закрыть?
KGB, я уж не знаю что надежней
в том robots.txt они забыли прописать самую главную инструкцию:
User-agent:Google
Disallow:/
:)
Серьёзный файлик получился. Там любой бот, даже и нужный, заблудится :)
в том robots.txt они забыли прописать самую главную инструкцию:
User-agent:Google
Disallow:/
:)
Ага, ещё и остальные ПС до кучи. На всякий случай ;)
Ага, ещё и остальные ПС до кучи. На всякий случай ;)
Так там и так очень многим роботам запретили индексацию.
А вообще, в самом роботсе ошибки - например, директива User-Agent пишется так и только так.
А вообще, в самом роботсе ошибки - например, директива User-Agent пишется так и только так.
да неужели!?
http://robotstxt.org.ru/RobotsExclusion/guide
http://www.yandex.ru/robots.txt