Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Индексируются сообщения типа: сайт.ру/tag/xxx, сайт.ру/2010/xxx

[Удален]
1230

Проблема: Произошла индексация страниц типа xxx.ru/category/abc, xxx.ru/tags/abc, xxx.ru/2010/abc. Т.е. часто в поиске выходят страницы вышеупомянутого типа, а не нормальные (xxx.ru/abc).

Этого быть не должно. Прошу помощи.

1. Файл robots.txt cделан следующим образом:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments*
Disallow: /comments/
Disallow: */*comment*
Disallow: /comment
Disallow: /best-offer

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments*
Disallow: /comments/
Disallow: */*comment*
Disallow: /comment

Host: www.xxx.ru

Есть здесь то, что нужно поправить?

p.s. Файл robots.txt был создан не сразу, возможно поэтому произошла такая индексация?..

2. Слышал, что sitemap может помочь? Расскажите, плз, как его сделать?

3. Как направить робота, чтобы он заново проиндексировал сайт? (это к п.1)

4. В плагине All in One Sep недавно поправил: убрать индексацию category и tag

dmiv добавил 23.10.2010 в 20:48

помогите плз)

R
На сайте с 31.08.2010
Offline
78
Rokkkin
#1

Смотря какой движок

[Удален]
#2

Движок - Wordpress

Shapranov Pavel
На сайте с 27.08.2007
Offline
304
Shapranov Pavel
#3

1) Для вордпресса роботс.тхт должен быть примерно таким:

User-agent: *
Disallow: /cgi-bin/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /category/*/*
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page
Sitemap: http://ваш-сайт.ру/sitemap.xml
Host: ваш-сайт.ру

2) Для создания карты сайта есть специальные плагины для вордпресс, например http://wordpress.org/extend/plugins/google-sitemap-generator/

3) Купить несколько ссылочек с новостных ресурсов на пару дней, затем снять

4) Правильно сделали, но в роботсе тоже закройте

dmiv:
Проблема: Произошла индексация страниц типа xxx.ru/category/abc, xxx.ru/tags/abc, xxx.ru/2010/abc. Т.е. часто в поиске выходят страницы вышеупомянутого типа, а не нормальные (xxx.ru/abc).
Этого быть не должно. Прошу помощи.

1. Файл robots.txt cделан следующим образом:



Есть здесь то, что нужно поправить?
p.s. Файл robots.txt был создан не сразу, возможно поэтому произошла такая индексация?..
2. Слышал, что sitemap может помочь? Расскажите, плз, как его сделать?
3. Как направить робота, чтобы он заново проиндексировал сайт? (это к п.1)
4. В плагине All in One Sep недавно поправил: убрать индексацию category и tag

dmiv добавил 23.10.2010 в 20:48
помогите плз)
Клиенты Яндекс.Денег смогут снимать В Украине стал возможен All in Top 3-й
[Удален]
#4

Shapranov Pavel

Скачал плагин Google (XML) Sitemaps Generator for WordPress, установил.

Сделал настройки, сказал сделать ручную генерацию sitemap.xml

Выдалась ошибка. Тогда как указано в help создал в корне (public_html) sitemap.xml, сделал права доступа 777. Но ошибка осталась.

Ошибка:

# There was a problem writing your sitemap file. Make sure the file exists and is writable. Learn more

# Процесс построения занял примерно 0 секунд и использовал 17 MB памяти.

Вопрос по плагину Google В Google Search Console Google: как оптимизировать изображения

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий