- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет.
На одном блоге есть такая тема - http://seo.kg/wordpress/ideal-wordpress-robots-txt-by-bloggers/
Вопрос, собственно в следующем:
Есть http://seo.kg/robots.txt
в данном случае директива User-agent - используется дважды.
Меня интересует, правильно ли это или нет...?
Я считаю что если есть User-agent: * - то эта строка User-Agent: Yandex НЕ НУЖНА!
Я новичок в SEO, и поэтому хочу услышать ответ профессионалов.
Ну и выяснить, кто из нас прав...
Если я не ошибаюсь то у яши есть проверка http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml
Всем привет.
На одном блоге есть такая тема - http://seo.kg/wordpress/ideal-wordpress-robots-txt-by-bloggers/
Вопрос, собственно в следующем:
Есть http://seo.kg/robots.txt
в данном случае директива User-agent - используется дважды.
Меня интересует, правильно ли это или нет...?
Я считаю что если есть User-agent: * - то эта строка User-Agent: Yandex НЕ НУЖНА!
Я новичок в SEO, и поэтому хочу услышать ответ профессионалов.
Ну и выяснить, кто из нас прав...
А чем тебя не устраивает ответ администратора в комментариях?
тобиш меня?
А чем тебя не устраивает ответ администратора в комментариях?
тобиш меня?
Я например думаю так, что если User-agent: * - Это правило для всех поисковиков, то яндекс уже само собой поймёт, что его это тоже касается. В связи с чем думаю, что раз яндексу уже понятно, то зачем? для него ещё раз писать User-agent: Yandex когда он и так понимает при первом варианте.
Что касается Host - я в курсе, что это и для чего.
Написал вопрос на форуме, не ради спора,
а ради того что б лишний раз убедиться прав я или не прав.
Я например думаю так, что если User-agent: * - Это правило для всех поисковиков, то яндекс уже само собой поймёт, что его это тоже касается. В связи с чем думаю, что раз яндексу уже понятно, то зачем? для него ещё раз писать User-agent: Yandex когда он и так понимает при первом варианте.
Что касается Host - я в курсе, что это и для чего.
Написал вопрос на форуме, не ради спора,
а ради того что б лишний раз убедиться прав я или не прав.
Веселый ты человек) тебя это действительно так волнует?
Вот именно, Яндекса это касается, но не др. ПС. Делается это лишь для того, чтобы синтаксис для др. поисковиков не был нарушен.
В принципе я согласен что целесообразно использовать директиву User-Agent: Yandex, в том случае,
если бы изначально к примеру было не User-Agent: * а User-Agent: Rambler или User-Agent: Google
Но логически, если в первой строке указана команда, для всех поисковиков, то какой смысл писать отдельно для яндекса...?
MegaSEOkg добавил 09.06.2009 в 00:23
Веселый ты человек) тебя это действительно так волнует?
В принципе, мне как-то параллельно...
Просто интересовался мнениями других людей, по аське пару коллег ответили,
что второй раз писать не обязательно, однако, и вреда нет.
Победила дружба!
В принципе, MegaSEOkg прав - Host отдельно для Яндекса можно было не выносить. Но можно и вынести. Принципиальной роли это не играет.
Неправильный роботс. Вообще правильно рассуждаете: * достаточно, если Вы не расписываете директивы для каждого бота.
Неправильный синтаксис:
Host: seo.kg
Изучайте на будущее - Хелп по роботсу.
Правильно:
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /awstats/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /download-manager.php
Disallow: /*comment-page-*
Disallow: /jexr/
Host: seo.kg
Sitemap: http://seo.kg/sitemap.xml По идее в самом конце. Я его никогда не прописываю, добавляю через панели вебмастеров.
Неправильный роботс. Вообще правильно рассуждаете: * достаточно, если Вы не расписываете директивы для каждого бота.
Неправильный синтаксис:
Изучайте на будущее - Хелп по роботсу.
Правильно:
) соблюдая синтаксис, директиву host, которую понимает только Яндекс желательно приписать к User-agent: Yandex.
Sitemap: http://seo.kg/sitemap.xml По идее в самом конце. Я его никогда не прописываю, добавляю через панели вебмастеров.
Стоит в конце, игнорировать отсутствие - глупо. ПС рекомендуют! Директива Sitemap.
) соблюдая синтаксис, директиву host, которую понимает только Яндекс желательно приписать к User-agent: Yandex.
Я никогда не прописывал отдельно для Яндекса. Он нормально понимает и на User-agent: *
А соблюдая синтаксис, host важно написать непосредственно после 'Disallow'('Allow'). Вам тоже по ссылке с моего предыдущего поста ;)
Я никогда не прописывал отдельно для Яндекса. Он нормально понимает и на User-agent: *
А соблюдая синтаксис, host важно написать непосредственно после 'Disallow'('Allow').
Я это тоже заметил изначально.
Просто, не стал писать...