- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Он что, брезгует этой инструкцией - "User-agent: *" ?
Вы видно не всё поняли, нельзя писать так:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
.....
Host: blogprosex.ru
Поскольку директива Host - это только для Яндекса
Поэтому нужны 2-е инструкции, отдельно для Яндекса и отельно для остальных роботов ПС.
А чем может навредить sitemap.xml ? Сайт планируется плодотворно разростаться
ДА нет в этом вреда, но при данном количестве страниц они за 1-н ап попадут в индекс, я не думаю, что Вы будете сразу загружать по 300 новых страниц на сайт. К тому же, если Вы будете развивать сайт, то роботы будет чаще посещать ресурс и индексировать новые материалы.
Спасибо, поправил!.. еще пару вопросиков в тему: 1) Видел на некоторых сайтах, что они запрещают роботам "Disallow: /wp-content/" - стоит ли это делать?
2) У меня сейчас прописаны пинги:
http://rpc.technorati.com/rpc/ping
http://bulkfeeds.net/rpc
http://rpc.weblogs.com/RPC2
http://api.my.yahoo.com/RPC2
http://services.newsgator.com/ngws/xmlrpcping.aspx
http://api.moreover.com/ping
http://api.moreover.com/RPC2
http://www.blogpeople.net/servlet/weblogUpdates
http://ping.bloggers.jp/rpc
http://bblog.com/ping.php
http://rpc.tailrank.com/feedburner/RPC2
http://ping.feedburner.com
http://ping.myblog.jp
http://ping.weblogalot.com/rpc.php
http://pinger.blogflux.com/rpc
http://blogsearch.google.com/ping/RPC2
http://blog.goo.ne.jp/XMLRPC
http://rpc.icerocket.com:10080
http://rpc.pingomatic.com
http://api.feedster.com/ping
http://www.holycowdude.com/rpc/ping
http://ping.syndic8.com/xmlrpc.php
http://ping.blogs.yandex.ru/RPC2
Стоит ли что-либо добавить или убрать? И есть ли от них вообще толк или это только догадки сеошников?
Плохо читали.
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed (# запрещает скачивать все, кроме страниц начинающихся с '/feed', таким образом Вы не папку отключаете от индексации)
Disallow: /feed/atom
Disallow: /feed/rss
Host: blogprosex.ru
Sitemap: http://blogprosex.ru/sitemap.xml (можно и не использовать в Вашем случае, у ВАс всего 50-60 страниц, я бы сделал только карту сайта)
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed
Disallow: /feed/atom
Disallow: /feed/rss
Начнем с того, что последовательность должна быть обратной, вначале прописываются правила для всех поисковых систем, а потом делаются исключения для определенных User-agent-ов
Далее Вы делаете дубликацию кода. Зачем повторять код, если Вы не собираетесь вносить корректировки для определенной поисковой системы, получается у Вас идут те же исключения для Яндекса, что и для остальных поисковых систем.
должно выглядеть так:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed
Disallow: /feed/atom
Disallow: /feed/rss
User-agent: Yandex
Host: blogprosex.ru
Также, можно не прописывать User-agent: Yandex, а просто прописать ее в User-agent: * в конце директиву Host (она должна быть обязательно последней). Просто остальные системы её использовать не будут, т.к. это фича Яндекса.
Здесь про анализ Яндексом файла роботс, а вот тут про стандарты роботс на которые стоит ссылка из предыдущего документа и напсано, что вначале должны использоваться правила для наибольшего колличества роботов
If more than one User-agent field is present the record describes an identical access policy for more than one robot. At least one field needs to be present per record.
и там же есть участок относительно дупликации
If the value is '*', the record describes the default access policy for any robot that has not matched any of the other records. It is not allowed to have multiple such records in the "/robots.txt" file.
Ну а если по теме:
Выложил сайт. Контент - уник. Прогнал пару раз по социалкам. Добавил в гулю и яшу еще 10 марта - в выдаче ни там ни там нет :( Хотя уже прошел ап тица и ап выдачи... Как быть?
Последнее время индексация идет долго, если не ставить внешних ссылок, да даже если их ставить и постоянно добовлять в адурилку проходит недели 3, иногда меньше, иногда больше, прежде чем сайт появляется в выдаче Яндекса.
Axiom777, Вы меня просто окончательно запутали :(... оставил Ваш вариант. Что можете сказать по "Disallow: /wp-content/" - стоит ли это делать?
Удалиете robots.txt вообще, если не понимаете зачем он нужен...;)
Без этого файла сайты также живут... просто будут индексироваться не нужные страницы... когда разберетесь, какие страницы вам не надо индексировать прочитайте мануал Яндекса и делайте как там написано, со временем разберетесь
Начнем с того, что последовательность должна быть обратной, вначале прописываются правила для всех поисковых систем, а потом делаются исключения для определенных User-agent-ов
Где это вы такое вычитали?
Вот хотя бы прочитайте тему и 18 пост в отдельности несколько раз чтобы лучше дошло.
Где это вы такое вычитали?
Вот хотя бы прочитайте тему и 18 пост в отдельности несколько раз чтобы лучше дошло.
Если существуют правила, то их не просто так пишут.
Стандарты и наследование, что прописано для всех поисковых систем работает и правила написисания также. Если объявляется в robots.txt новый user-agent, то он наследует все предыдущие правила и в них можно прописать другие.
Относительно другой темы, там идет о другом разговор.
Crawl-delay: - какой поисковик пользуется данной перемнной?
Если существуют проблемы, то надо писать в службу поддержки.
Стандарты и наследование, что прописано для всех поисковых систем работает и правила написисания также.
Сами вы написисания. :D
Бред новичкам советуете.
Talisman13 Я был не прав
Axiom777, Вы меня просто окончательно запутали :(...
яндекс тоже Sitemap увидит