Все вопросы по robots.txt

спасибо, попробую

Для начала выясните кто такие URL отдает Яндексу и почему, к тому же с ошибкой 403.

Слеш должен быть в начале Disallow: /*page https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow

как в роботсе закрыть файл: out.php

Этот файл редиректит внешние ссылки и яндекс загружает все их в таком виде:

http://site.ru/out.php?=http://site.ru

Epiq, Disallow: /out.php

Как правильно составить robots для поддоменов, которые прописаны алиасами к основному домену и не имеют физического хостинга.

Сейчас используется один robots для всех поддоменов. ПС воспринимают эти поддомены, как разные сайты. Cклейки нет, разное количество страниц в поиске.

Нужно для каждого алиаса создать свои robots, либо сделать один общий универсальный и корректный.

Например, можно ли убрать директивы Host и Sitemap, если они не критичные, закрыть (открыть) абсолютные ссылки на поддоменах, если использовать общий robots.txt ?

Доброе время всем уважаемые.

Подскажите пожалуйста можно ли закрыть в роботсе от индексации один сайт и указать явно в том же роботсе, куда именно сайт переехал?

без редиректов и закрытия сайта от посетителей

Доброго времени суток.

Есть сайт и собственно на нем страница - https://cartix.ru/catalog/zapravka-kartridzhey/

Это первая страница раздела "Заправка картриджей". Внизу пагинация - https://cartix.ru/catalog/zapravka-kartridzhey/?PAGEN_11=2 - вторая страница. И тд.

Текст можно добавлять только лишь к разделу, а не к определенной странице с параметром.

Соответственно выходит так, что текст дублирован на разных страницах.

Вопрос - как закрыть эти страницы в robots.txt? Если их закрывать по одной, получиться очень большой список. Либо проще сделать так, чтобы тайтл у всех страниц был разный и отсутствовал текст.

Всем привет, помогите разобраться с сайтом, дело в том что сайт хорошо индексируется яндексом, но гугл очень плохо индексирует его, посещаемость с яндекс растет, с гугла посещалка почти нулевая и стоит на месте. В кабинете гугла во кладке "Статус индексирования" проиндексировано 280 страниц, Заблокировано в файле robots.txt 2955, на сайте стоял стандартный robots, пару недель назад я отредактировал robots но это не принесло результатов. В данный момент файл роботс выглядит так: http://sexteenvideo.net/robots.txt

До этого была такая версия:

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /lastnews/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: */page/*

Sitemap: http://sexteenvideo.net/sitemap.xml

Host: sexteenvideo.net

Так же хочу добавить, сайт включил в сентябре, домен был с историей проверял его на санкции поисковиков но нечего не обнаружил, в поиске страницы есть значит бана от гугла как я понимаю нету.

Буду рад за помощь.

Robots настроен правильно, как долго вы ждете? Если месяц-два, то рекомендую подождать, если более, то пора провести проверку по всему сайту, ведь алгоритмы у Яндекса и Google сильно различаются

Повторюсь, на сайте ранее была следующая версия роботс:

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /lastnews/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: */page/*

Sitemap: http://sexteenvideo.net/sitemap.xml

Host: sexteenvideo.net

Эта версия на сайте стояла с момента его создания (сентябрь 2015) как я понимаю она верно настроена?

--------------------------------------------------------------------------------------------------------------

буквально 2-3 недели назад я изменил его и оставил только:

User-agent: *

Disallow: /engine/go.php

Sitemap: http://sexteenvideo.net/sitemap.xml

Host: sexteenvideo.net

стоит ждать чуда что гугл начнет индексировать его, или стоит копаться в самом сайте?

---------- Добавлено 26.05.2016 в 12:00 ----------

---------- Добавлено 26.05.2016 в 12:25 ----------

Забыл добавить, на сайте была допущена ошибка в настройке зеркал (http://sexteenvideo.net/ на http://www.sexteenvideo.net/) могло ли это повлиять на плохую индексацию ?

п.с ошибку исправил 2 недели назад.