- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
У многих веб-мастеров сайты основаны именно на этой системе управления. Думаю, что сообществу будет интересно посмотреть на сокращенный, но абсолютно правильный и функционирующий вариант файла robots.txt для WP.
Итак, начнем:
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Этим запрещаем доступ в директории, куда никто вообще не должен лазить.
Disallow: /wp-*.php
Под эту регулярку подходят все служебные файлы: wp-activate.php, wp-load.php, wp-blog-header.php и так далее.
Disallow: /20*
Запретим таким образом отображение архивной информации.
Disallow: /*?
Страницы со знаком вопроса нам тоже не нужны.
Disallow: /tag
Теги... ну, спорный вопрос, конечно... я их запретил. Кому нужно - разрешайте :)
Disallow: /category/*
Disallow: /feed
Disallow: /comments/feed
Исключаем фиды и категории как дублирующиеся материалы.
Disallow: /?wppa=*
Лично у меня на сайте имеется фотогалерея, которая генерит много дублей, вписывающихся в этот шаблон. Указание такой строки уберет эти дубли.
Disallow: /?_openstat*
Disallow: /?s=*
Аналитику и любые результаты поиска - запрещаем.
Таким образом у вас получится сайт на Wordpress без всяких дублей страниц. Естественно, что если вы используете какие-то другие плагины, которые генерируют дубли, вписывающиеся в другие шаблоны, их нужно здесь указать.
Думаю, что многие эту информацию знают. Но если я кому-то помог этим постом - буду очень рад.
Напоследок - весь файл роботс:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-*.php
Disallow: /xmlrpc.php
Disallow: /?wppa=*
Disallow: /?_openstat*
Disallow: /?s=*
Disallow: /20*
Disallow: /category/*
Disallow: /feed
Disallow: /comments/feed
Disallow: /*?
Disallow: /tag
Данный файл может быть применен в том случае, если на сайте используется ЧПУ.
абсолютно правильный ... вариант файла robots.txt для WP.
Чушь полнейшая!
Иди в этот топик и не забивай мозги нубам.
Где пруф на Гблог?
SeVlad, лично у меня эта чушь работает на ура.
Если ты усмотрел здесь что-то технически неверное, велкам с комментариями.
---------- Добавлено 04.02.2014 в 19:46 ----------
noiws, оно надо? Я просто поделился своими знаниями.
После таких советов, появляются такие темы.
Chained, и что?
Disallow: /wp-content запретили картинки для индексации
Юзаю этот и проблем нет
http://alaev.info/blog/post/4143
После таких советов
В Указанном топике человек сам виноват. Какое отношение это имеет к этому топику?
Редактировать роботс, когда проиндексированы дубли вообще не рекомендуется, так как это может привести к падению трафа.
Используя чужие настройки роботса нужно учитывать настройки, плагины своего сайта.
Disallow: /wp-content запретили картинки для индексации
Можно узнать, что там за картинки?
Если ты усмотрел здесь что-то технически неверное, велкам с комментариями.
150 раз уже говорил, говорю и видимо буду говорить - учите матчасть! Нет и не может быть:
1. "робоста для ВП" (есть роботс для САЙТА)
2. абсолютно правильного для всех. Потому что см п1.
---------- Добавлено 04.02.2014 в 18:04 ----------
Можно узнать, что там за картинки?
Может вначале стоит изучить как устроен ВП? А то сразу с советами "как нам обустроить Россию".
SeVlad, лично у меня эта чушь работает на ура.
То что работает для вас, не факт что будет работать для другого человека. Я вот например не использую чпу на сайте, и ваш "абсолютно верный" роботс закроет нафиг весь сайт к индексации. Т.е. универсального роботса в данном случае как видно быть не может. Если уж хотели создать верный роботс, то вам бы стоило учесть эти моменты, и объяснить при каких обстоятельствах стоит и при каких нет данные правила.
---------- Добавлено 04.02.2014 в 20:31 ----------
Используя чужие настройки роботса нужно учитывать настройки, плагины своего сайта.
Вы забываете про суть топика. Речь не просто про роботс, а про "абсолютно верный".