- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброй ночи.
Скажите, при настройке роботс. , надо к каждому боту обращаться отдельно, или можно дать общие команды? Без уточнения ( гугол, яндекс).
И обьясните про поле = host. Я никак не могу понять этот момент, что такое зеркало сайта? Я вот создал новый сайт, его больше нигде нет :) , откуда у него зеркала. И второй момент, который я не понимаю. Якобы есть разница между адрессами вида : www.test.ru , http://test.ru и http://www.test.ru
И еще, мой движок позволяет генерировать автоматическую карту сайта формата xml. Туда он впихивает все что надо и не надо, если в файле роботс я пропишу эту карту сайта, но до этого командами nofollow закрою в том же роботс плохие разделы, что будет? :-)
...командами nofollow закрою в том же роботс плохие разделы, что будет? :-)
Если "nofollow" вставите в роботс - будет конец света! 🤪
Ну а если серьезно делайте так:
Если ваш сайт на домене 3-го уровня:
User-agent: *
Allow: /
Host: vashsait.freedomen.ru
Sitemap: http://vashsait.freedomen.ru/sitemap.xml
Если ваш сайт на домене 2-го уровня делайте такой роботс:
User-agent: *
Allow: /
Host: www.vashsait.ru
Sitemap: http://www.vashsait.ru/sitemap.xml
С приветом, Neamailer! :)
1) Обычно отдельно обращаются к User-agent: Yandex, а потом ко всем остальным User-agent: *
2)а еще бывает дубли такого плана http://www.test.ru и http://www.test.ru/index.html
3) можно в яндекс вебмастер загрузить сайтмап xml и проблем не будет.
Но если в сайтмапе будут страницы, которые запрещены к индексации они не проиндексируются. Роботс запрещает индексировать страницы, а не ходить по ним.
У меня сайт вида test.com.ua
И я все равно не понял, надо обращаться отдельно к каждому агенту или можно ко всем сразу?
Если я напишу только User-agent: * это ведь поймет и гугол и яндекс? Или надо обращаться User-agent: Google, User-agent: Yandex, User-agent: * а потом ко всем остальным? Или досаточно все прописать под User-agent: *
Если у меня test.com.ua то я прописываю в хост www.test.com.ua и не парюсь?
У меня сайт настроен на автоматическую генерацию карты, мне достаточно указать ее в роботс. Зачем каждый раз обновлять ее в вебмастере.
1) Обычно отдельно обращаются к User-agent: Yandex, а потом ко всем остальным User-agent: *
Обычно отдельно обращаются к Гугл, отдельно к Майл, отдельно к Яху... Писать под отдельную секцию есть смысл тогда, когда нужно составить разные запреты для роботов.
И я все равно не понял, надо обращаться отдельно к каждому агенту или можно ко всем сразу?
Можно ко всем сразу.
1) Пишете для User-agent: Yandex - это для яндекса
и пишете для User-agent: * - это для всех остальных
Если напишите для каждого бота свой - хуже точно не будет.
2)В хост вы пишите то, как проиндексировал яндекс с ввв или без. Если не проиндексировал еще сайт, то пишите как нравится.
3) По идее при добавлении в вебмастер яша быстрее обработает сайтмап. Достаточно 1 раз добавить и адрес карты добавить в роботс. Если не хотите добавлять в ЯВМ, то просто пропишите в роботсе и не парьтесь
И я все равно не понял, надо обращаться отдельно к каждому агенту или можно ко всем сразу?
Если я напишу только User-agent: * это ведь поймет и гугол и яндекс? Или надо обращаться User-agent: Google, User-agent: Yandex, User-agent: * а потом ко всем остальным? Или досаточно все прописать под User-agent: *
Писать в роботсе блоки для разных юзер-агентов имеет смысл, только если эти блоки отличаются. Например для разных ПС Вы запрещаете к индексации разные страницы. Если одинаковые, то можно один блок для всех.
Если у меня test.com.ua то я прописываю в хост www.test.com.ua и не парюсь?
Выберите, какое зеркало у Вас главное, с www или без www, то и пишите.
У меня сайт настроен на автоматическую генерацию карты, мне достаточно указать ее в роботс. Зачем каждый раз обновлять ее в вебмастере.
В Вебмастере ее не надо каждый раз обновлять, достаточно ее туда просто один раз добавить.
Изучите http://help.yandex.ru/webmaster/?id=996567, большинство вопросов сразу снимется.
P.S. Долго писал... :)
Уже появились просветы, всем спасибо.
Я с зеркалами просто запутался. В хелпе написанно, да и в вики, что зекала полностью дублируют сайт 1 в 1, и используюся для равномерной нагрузки т.д.
У меня нет зеркал ( ну в этом вот понимании). Но почему тогда есть разница между www.test.com.ua и test.com.ua?
Вы мне написали выбрать, а откуда я знаю что надо?)
---------- Добавлено 21.03.2012 в 13:55 ----------
Можеть бы это важно, но у помимио самого сайта www.test.com.ua и у меня будут там висеть forum.test.com.ua и blog.test.com.ua.
ТС, www и без - это и есть зеркала..
Совет: оставьте site.ru и пропишите это в robots.txt
Host: site.ru