Все вопросы по robots.txt

В самом начале User-Agent: Yandex

User-agent: * Значит все поисковые роботы.

А, это да. Пагинацию, конечно, закрывать не нужно. Не сообразил, что это она. Привык, что у меня в движке пагинация p=

Тогда:

Disallow: *=All&*

---------- Добавлено 28.03.2017 в 01:24 ----------

И, тогда вопрос. Есть ли смысл заморачиваться, чтобы описание категории было только на одной, первой странице? А на страницах пагинации и страницах созданных фильтрами его не было.

По опыту, в выдаче только основная страница. Второстепенные когда-то пару лет назад вылезали, но последнее время ни разу не замечал.

Ну есть тут несколько вариантов.

1. Мы делаем отдельную страницу, со всеми товарами, и ее индексируем;

2. Делаем то же что п.1 но каноникал ставим с пагинации на нее;

3. Делаем, как звездит яндекс - ставим каноникал на первую страницу пагинации (а он звездит);

4. Просто выводим текст на первой странице, и все.

Мне больше нравится п.4. Всяких аяксов то что выше не касается.

Если можно, прокомментируйте вот такой роботс для КсенФоро

User-agent: *

Disallow: /cdn-cgi/

Disallow: /find-new/

Disallow: /account/

Disallow: /goto/

Disallow: /posts/

Disallow: /login/

Disallow: /admin.php

Allow: /

Sitemap:

Host:

User-agent: *

Disallow: /goto/

Disallow: /cdn-cgi/

Disallow: /login/

Disallow: /admin.php

Disallow: /find-new/

Disallow: /posts/

Disallow: /account/

User-agent: Yandex

Disallow: /goto/

Disallow: /cdn-cgi/

Disallow: /login/

Disallow: /admin.php

Disallow: /find-new/

Disallow: /posts/

Disallow: /account/

Host:

User-agent: Googlebot

Disallow: /goto/

Disallow: /cdn-cgi/

Disallow: /login/

Disallow: /admin.php

Disallow: /find-new/

Disallow: /posts/

Disallow: /account/

User-agent: Mail.Ru

Disallow: /goto/

Disallow: /cdn-cgi/

Disallow: /login/

Disallow: /admin.php

Disallow: /find-new/

Disallow: /posts/

Disallow: /account/

User-agent: Bingbot

Disallow: /goto/

Disallow: /cdn-cgi/

Disallow: /login/

Disallow: /admin.php

Disallow: /find-new/

Disallow: /posts/

Disallow: /account/

Добрый день!

У меня старый сайт на редкой CMS (S.Builder) и им много кто "занимался". В итоге огромное количество дублей страниц/разделов.

сайт http://dreamboutique.ru

Я так понял есть две тактики для устранения индексации данных дублей через robots.txt:

1. Всем поисковикам все разрешить и запрещать дубли. Но, постоянно появляются новые, другие дублирующие разделы каталога. (этот вариант используется сейчас http://dreamboutique.ru/robots.txt)

2. Всем все запретить, и писать allow только уникальным страницам/разделам каталога.

И, при добавлении новой страницы или нового раздела - прописывать очередной allow.

Этот вариант точно устранит все дубли. Беспокоит одно. Не может ли этот вариант как-то навредить. и Нужно ли отдельно все allow прописывать для User-Agent:Yandex, User-Agent:Googlebot, User-Agent:Googlebot*.

Пример (ну в общем почти карта сайта):

User-agent: *

Disallow: /

Allow: /catalog/evening-dresses/$
Allow: /catalog/evening-dresses/vechernie-platya-na-vypusknoj/$
Allow: /catalog/evening-dresses/korotkie-vechernie-platya/$
Allow: /catalog/evening-dresses/novinki-vechernih-platiev/$
Allow: /catalog/evening-dresses/vechernie-platya-na-korporativ/$
Allow: /catalog/evening-dresses/speredi-korotkie-vechernie-platia/$
Allow: /catalog/evening-dresses/klubnye-vechernie-platya/$
Allow: /catalog/evening-dresses/koktejlnye-vechernie-platya/$
Allow: /catalog/evening-dresses/nedorogie-vechernie-platya/$
Allow: /catalog/evening-dresses/dlinnye-vechernie-platya/$

Allow: /catalog/evening-dresses/index.php$
Allow: /catalog/evening-dresses/vechernie-platya-na-vypusknoj/index.php$
Allow: /catalog/evening-dresses/korotkie-vechernie-platya/index.php$
Allow: /catalog/evening-dresses/novinki-vechernih-platiev/index.php$
Allow: /catalog/evening-dresses/vechernie-platya-na-korporativ/index.php$
Allow: /catalog/evening-dresses/speredi-korotkie-vechernie-platia/index.php$
Allow: /catalog/evening-dresses/klubnye-vechernie-platya/index.php$
Allow: /catalog/evening-dresses/koktejlnye-vechernie-platya/index.php$
Allow: /catalog/evening-dresses/nedorogie-vechernie-platya/index.php$
Allow: /catalog/evening-dresses/dlinnye-vechernie-platya/index.php$

Allow: /catalog/evening-dresses/?page_4=*
Allow: /catalog/evening-dresses/view/evening-dresses/*

Allow: /catalog/wedding-dresses/grecheskie-svadebnye-platya/$
Allow: /catalog/wedding-dresses/svadebnye-platya-dlya-beremennyh/$
Allow: /catalog/wedding-dresses/svadebnye-platya-rybka-rusalka/$
Allow: /catalog/wedding-dresses/svadebnye-platya-a-siluet/$
Allow: /catalog/wedding-dresses/kruzhevnye-svadebnye-platya/$
Allow: /catalog/wedding-dresses/pyshnye-svadebnye-platya/$
Allow: /catalog/wedding-dresses/korotkie-svadebnie-platia/$
Allow: /catalog/wedding-dresses/zakrytye-svadebnie-platya/$
Allow: /catalog/wedding-dresses/svadebnye-platya-s-volanami/$
Allow: /catalog/wedding-dresses/svadebnye-platya-s-zanizhennoy-taliey/$
Allow: /catalog/wedding-dresses/svadebnye-platya-s-vysokoj-taliej/$
Allow: /catalog/wedding-dresses/assimetrichnye-svadebnye-platya/$
Allow: /catalog/wedding-dresses/rasprodazha-svadebnyh-platjev/$
Allow: /catalog/wedding-dresses/nedorogie-svadebnye-platya/$

Allow: /catalog/wedding-dresses/grecheskie-svadebnye-platya/index.php$
Allow: /catalog/wedding-dresses/svadebnye-platya-dlya-beremennyh/index.php$
Allow: /catalog/wedding-dresses/svadebnye-platya-rybka-rusalka/index.php$
Allow: /catalog/wedding-dresses/svadebnye-platya-a-siluet/index.php$
Allow: /catalog/wedding-dresses/kruzhevnye-svadebnye-platya/index.php$
Allow: /catalog/wedding-dresses/pyshnye-svadebnye-platya/index.php$
Allow: /catalog/wedding-dresses/korotkie-svadebnie-platia/index.php$
Allow: /catalog/wedding-dresses/zakrytye-svadebnie-platya/index.php$
Allow: /catalog/wedding-dresses/svadebnye-platya-s-volanami/index.php$
Allow: /catalog/wedding-dresses/svadebnye-platya-s-zanizhennoy-taliey/index.php$
Allow: /catalog/wedding-dresses/svadebnye-platya-s-vysokoj-taliej/index.php$
Allow: /catalog/wedding-dresses/assimetrichnye-svadebnye-platya/index.php$
Allow: /catalog/wedding-dresses/rasprodazha-svadebnyh-platjev/index.php$
Allow: /catalog/wedding-dresses/nedorogie-svadebnye-platya/index.php$

Allow: /catalog/wedding-dresses/$
Allow: /catalog/wedding-dresses/index.php$
Allow: /catalog/wedding-dresses/love-story/?page_2=*
Allow: /catalog/wedding-dresses/knightly/?page_2=*
Allow: /catalog/wedding-dresses/dream-collection/?page_2=*
Allow: /catalog/wedding-dresses/pronovias1/?page_2=*
Allow: /catalog/wedding-dresses/pepe_botella/?page_2=*
Allow: /catalog/wedding-dresses/haute-couture/?page_2=*
Allow: /catalog/wedding-dresses/econom-collection/?page_2=*
Allow: /catalog/wedding-dresses/nedorogie-svadebnye-platya/?page_2=*

Allow: /catalog/wedding-dresses/love-story/$
Allow: /catalog/wedding-dresses/knightly/$
Allow: /catalog/wedding-dresses/dream-collection/$
Allow: /catalog/wedding-dresses/pronovias1/$
Allow: /catalog/wedding-dresses/pepe_botella/$
Allow: /catalog/wedding-dresses/haute-couture/$
Allow: /catalog/wedding-dresses/econom-collection/$
Allow: /catalog/wedding-dresses/nedorogie-svadebnye-platya/$

Allow: /catalog/wedding-dresses/love-story/index.php$
Allow: /catalog/wedding-dresses/knightly/index.php$
Allow: /catalog/wedding-dresses/dream-collection/index.php$
Allow: /catalog/wedding-dresses/pronovias1/index.php$
Allow: /catalog/wedding-dresses/pepe_botella/index.php$
Allow: /catalog/wedding-dresses/haute-couture/index.php$
Allow: /catalog/wedding-dresses/econom-collection/index.php$
Allow: /catalog/wedding-dresses/nedorogie-svadebnye-platya/index.php$

Allow: /catalog/wedding-dresses/view/love-story/*
Allow: /catalog/wedding-dresses/view/knightly/*
Allow: /catalog/wedding-dresses/view/dream-collection/*
Allow: /catalog/wedding-dresses/view/pronovias1/*
Allow: /catalog/wedding-dresses/view/pepe_botella/*
Allow: /catalog/wedding-dresses/view/haute-couture/*
Allow: /catalog/wedding-dresses/view/econom-collection/*
Allow: /catalog/wedding-dresses/view/nedorogie-svadebnye-platya/*

Allow: /atelier/$
Allow: /atelier/index.php$
Allow: /style/$
Allow: /style/index.php$
Allow: /fotoden/$
Allow: /fotoden/index.php$
Allow: /contacts/$
Allow: /contacts/index.php$

Allow: /style/price.php$

Allow: /style/svadebnaja-pricheska-v-grecheskom-stile/$
Allow: /style/svadebnaja-pricheska-gollivudskie-lokony/$
Allow: /style/svadebnaja-pricheska-na-dlinnye-volosy/$
Allow: /style/svadebnaja-pricheska-na-korotkie-volosy/$
Allow: /style/svadebnaja-pricheska-na-srednie-volosy/$
Allow: /style/svadebnaja-pricheska-s-diademoj/$
Allow: /style/svadebnaja-pricheska-s-fatoj/$
Allow: /style/vysokaja-svadebnaja-pricheska-s-cvetami/$
Allow: /style/svadebnaja-pricheska-s-fatoj-na-raspushhennye-volosy/$
Allow: /style/svadebnaja-pricheska-puchok/$

Allow: /style/svadebnaja-pricheska-v-grecheskom-stile/index.php$
Allow: /style/svadebnaja-pricheska-gollivudskie-lokony/index.php$
Allow: /style/svadebnaja-pricheska-na-dlinnye-volosy/index.php$
Allow: /style/svadebnaja-pricheska-na-korotkie-volosy/index.php$
Allow: /style/svadebnaja-pricheska-na-srednie-volosy/index.php$
Allow: /style/svadebnaja-pricheska-s-diademoj/index.php$
Allow: /style/svadebnaja-pricheska-s-fatoj/index.php$
Allow: /style/vysokaja-svadebnaja-pricheska-s-cvetami/index.php$
Allow: /style/svadebnaja-pricheska-s-fatoj-na-raspushhennye-volosy/index.php$
Allow: /style/svadebnaja-pricheska-puchok/index.php$

Allow: /style/svadebnaja-pricheska-v-grecheskom-stile/view/*
Allow: /style/svadebnaja-pricheska-gollivudskie-lokony/view/*
Allow: /style/svadebnaja-pricheska-na-dlinnye-volosy/view/*
Allow: /style/svadebnaja-pricheska-na-korotkie-volosy/view/*
Allow: /style/svadebnaja-pricheska-na-srednie-volosy/view/*
Allow: /style/svadebnaja-pricheska-s-diademoj/view/*
Allow: /style/svadebnaja-pricheska-s-fatoj/view/*
Allow: /style/vysokaja-svadebnaja-pricheska-s-cvetami/view/*
Allow: /style/svadebnaja-pricheska-s-fatoj-na-raspushhennye-volosy/view/*
Allow: /style/svadebnaja-pricheska-puchok/view/*

Allow: /catalog/yubki/index.php$
Allow: /catalog/yubki/$
Allow: /catalog/yubki/view/*



Sitemap: http://www.dreamboutique.ru/sitemap.xml

user-agent: AhrefsBot
disallow: /

Заранее спасибо за помощь.

Сейчас прохожу курс "Марафон Начало", там посоветовали вот такой роботс по ВП:

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: /search*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

Host: vash-domen.ru

User-agent: Googlebot

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: /search*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Mail.Ru

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: /search*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: /search*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Disallow:

User-Agent: YaDirectBot

Disallow:

Sitemap: http://сюдавашдомен/sitemap.xml

Есть три страницы, которые надо закрыть от индексации:

http://www.algoritm-system.ru/akcii

http://www.algoritm-system.ru/akcii-0

http://www.algoritm-system.ru/akcii-1

Корректно будет такое написание запрета, если я хочу запретить только страницу akcii?

Disallow: /akcii$

Disallow: /akcii.html$

А если хочу запретить все три страницы:

Disallow: /akcii

Есть ряд страниц дублей, которые я хочу все скопом запретить в роботс.тхт, вот они:

http://www.algoritm-system.ru/catalogue/press-formy?page=1

http://www.algoritm-system.ru/news-rezultaty-vystavki-rosplast-2016?page=1

http://www.algoritm-system.ru/news/page/4?page=1

http://www.algoritm-system.ru/news/page/2?page=1

http://www.algoritm-system.ru/kak-vybrat-termoplastavtomat?page=1

http://www.algoritm-system.ru/catalogue/gorizontalnye-tpa?page=1

http://www.algoritm-system.ru/catalogue/roboty?page=1

http://www.algoritm-system.ru/tehnologiya-pechati-trehmernyh-obektov-na-3d-printerah?page=1

http://www.algoritm-system.ru/news/page/1?page=1

http://www.algoritm-system.ru/metod-naneseniya-etiketok-mould-labels-iml?page=1

http://www.algoritm-system.ru/?page=3

http://www.algoritm-system.ru/user/login?page=1

http://www.algoritm-system.ru/?page=2

http://www.algoritm-system.ru/?page=1

Все страницы пагинации у которых в урле есть один и тот же участок ?page=

Вопрос, если я запишу директиву:

Disallow: /*?page=

все эти страницы пропадут из поля видения роботов?

При этом надо оставить в индексе страницы пагинации вида.

http://www.algoritm-system.ru/article/page/1/

Правильная ли у меня директива?

Господи, тут хоть кто-нибудь читал хелп по роботсу?

IZZI, Прямо экспертный robots. Одна и та же информация дублируется 4 раза: Для бота Яндекса, Гугла, Майла и для всех остальных ботов.

Для YaDirectBot нет запретов, а так он не поймет, что нет запретов.

И допустим если для всех роботов открыть /wp-content/uploads/, смотреть это будет другой робот, а не YandexImages?