angel57

metelka:
Сколько людей, столько и мнений. Я теперь начала заполнять, т.к. в веб-мастере ошибки стали появляться.

OlegDP:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */trackback
Disallow: */feed
Disallow: */embed
Disallow: */page/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Насколько правилен этот robots.txt?
Добавил в индекс свой первый сайт
В яндексе:
Загруженные страницы: 77;
Страницы в поиске: 7;
Исключённые страницы: 2.

В гугле проиндексировало 4 странницы и написало что robots.txt блокирует 46 файлов.

zurk798:
На сайте работает сортировка товаров и страница сортировки имеет следующий вид:
http://site.ru/name-category/@sl/40
http://site.ru/name-category/%40sl
Можно ли в robots.txt закрыть эти страницы парой строк или придется прописывать каждую категорию?

Maxim-KL:
$CASH$, снова текстовый

$CASH$:
без выкладывания текстового индекса
/QUOTE]

☝

Onecontent:
Если старого сайта не будет в выдаче - не будет и дублей текстов = тексты уникальны (если были изначально уникальны).

biffick:
Я читал данную статью одной из первых.
Так всё и сделано (даже больше).
Но вот так и не понял, зачем оставлять sitemap и robots файлы в исключениях для редиректа? Получается совмещённый контент, не есть гуд.

Jeep187:
А что если мне нужно продвинуть одну страницу под 500 низкочастотных ключей?)

Maxim-KL:
Не волнуйтесь. Скорее всего ПС даже по этим ГС проходит не будет.