Все вопросы по robots.txt

Что бы усилить. Потому что как то слабо именно эта папка индексируется.

почему у меня два файла robots.txt?

Потому что завтра пятница.

Добрый вечер, форумчане.

Подскажите пожалуйста, как в роботс закрыть дубли категорий.

Например, категория футболок:

Ссылки имеют такую форму:

/products/category/1881601

/products/category/1881601/page/2?

/products/category/1881601/page/3?

/products/category/1881601/page/4?

Как я понимаю, для поисковиков это надо закрывать?

Заранее большое спасибо!

дравствуйте у меня такой вопрос

Домен был на юкозе прошло больше месца и с поисковиков начали приходить посетители я решил перенести домен на платный хостинг в итоге получилось

Страницы запрещены к индексированию вебмастером или не существуют

Документ запрещен в файле robots.txt

Когда открываю мой сайт /robots.txt иконка юкоз

Подскажите пожалуйста в чем проблема

robots.txt

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /eros

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /cams.html

Host: мой сайт

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /trackback/

Disallow: /comments/

Disallow: /feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /cams.html

Sitemap: мой сайт/sitemap.xml

Роботс.тхт не используется для данных целей, используйте аддурилки вебмастеров, или нагонщики роботов, быстророботов.

---------- Добавлено 13.10.2015 в 21:29 ----------

какую страницу хотите оставить как основную?

---------- Добавлено 13.10.2015 в 21:32 ----------

savikrds123:
дравствуйте у меня такой вопрос
Домен был на юкозе прошло больше месца и с поисковиков начали приходить посетители я решил перенести домен на платный хостинг в итоге получилось

Страницы запрещены к индексированию вебмастером или не существуют
Документ запрещен в файле robots.txt
Когда открываю мой сайт /robots.txt иконка юкоз
Подскажите пожалуйста в чем проблема



robots.txt
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /eros
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /cams.html
Host: мой сайт

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comments/
Disallow: /feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /cams.html

Sitemap: мой сайт/sitemap.xml

Данный файл не закрывает полностью содержимое сайта. Либо скиньте урлы для проверки.

Вероятнее всего проблема в Метатеге robots.

Спасибо за отклик.

Соответственно первую хочу оставить:

/products/category/1881601

Остальные надо закрыть, т.к. это категория ИМ и описание раздела повторяется на последующих страницах:

/products/category/1881601/page/2?

/products/category/1881601/page/3?

/products/category/1881601/page/4?

Просто я не могу понять, как правильно закрыть 2,3,4 страницы.

Disallow: /page/2?

Disallow: /page/3?

Disallow: /page/4?

Так наверное? Подскажите пожалуйста.

Disallow: /products/category/1881601/page*

Disallow: /products/category/1881601$

Важно: если у Вас на сайте есть проблема со слеш и без него, то правило меняется.

Если, к примеру, хотите оставить страницу /products/category/1881601/ в индексе, то роботс будет такой

Disallow: /products/category/1881601/page*

Disallow: /products/category/1881601/$

P.S. А если это простое правило пагинации, то почитайте вот это дополнительно - https://yandex.ru/support/webmaster/controlling-robot/html.xml#canonical

Подскажите, как закрыть все страницы сайта от индексирования?

Здравствуйте. Подскажите, пож-та, корректный ли текст robots.txt. Цель — закрыть сайт от индексации любыми поисковиками, удалить из archive.org (в т.ч. сохраненную историю). Последний метода работает, проверял. Спасибо.

# Generated by http://pr-cy.ru/

User-agent: *

Disallow: /

User-agent: ia_archiver

Disallow: /