Все вопросы по robots.txt

Здравствуйте. На сайте есть возможность скачивать материалы в ограниченном виде. При этом имеется и ссылка на сторонний ресурс где эти материалы можно приобрести в полном виде, оформленная в виде 301 редиректа, если кликнуть по нужной ссылке - так устроено поле, в котором размещается эта самая сторонняя ссылка.

Мне посоветовали закрыть эту ссылку через robots.txt при помощи конструкции Disallow: /load/0-0-*

Но если так прописать, то закроется и возможность для робота индексировать ссылку, которая позволяет пользователям загружать файлы с сервера сайта. Это может как-то негативно отразиться на позициях сайта или же видимость ссылки для загрузки файлов не имеет значения?

Слово "чужого" перед "сайта" забыто. Нафиг оно для бота?

Неа) Загружать он будет как раз с моего)

На сайте 2 ссылки:

1)ведет на страницу покупки книги. Ничего не скачивается, просто переход по моей рефке.

2)ссылка на скачивание отрывка книга уже с сервера моего сайта, а не чужого

Просто боюсь, чтобы ПС за это никак не наказали - страница в первую очередь позиционирует себя как "скачать что-то", а ссылок для скачивания то они не видят)

Да все ок будет, ничего страшного. И да, по всему запрещенному в роботс поисковики бодро ходят)

Добрый день.

Хочу поинтересоваться у форумчан получал ли кто нибудь ответ от Яндекса о том, что смена домена при помощи директивы HOST в robots.txt временно не работает?

Проблема в том что при переходе на https Яндекс неверно определил главное зеркало (http версию вместо https).

При этом стандартный инструмент "переезд сайта" в Я.Вебмастере выдает ошибку "Невозможно перенести сайт на https. Проверьте соответствие сайта всем необходимым требованиям."

При этом никаких расхождений с требованиями Яндекса найти не удалось. В ответ о проблеме ПЛАТОН прислал ответ:

Сталкивался ли кто либо с подобной проблемой?

Каковы могут быть потери при смене основного зеркала при помощи 301 редиректа?

Сайт: http://monro24.by

А зачем спешить? Если подождёте, само сменится.

301 редирект не настраиваем чтобы не потерять позиции в Яндекс, но возможно это одна из причин снижения трафика в Google, с момента перехода на Https около 10%

Ну и переход до конца не выполнен и это немного треплет нервы.

Лучше в таких случаях прислушиваться к Платону.

Каковы потери? 100% выпадание из поиска на 2-8 недель.

На сайте полно страниц с такими окончаниями, в результате колличество загруженных страниц в ПС намного выше чем проиндексированных. Подскажите, как скрыть от яндекса подобные страницы, чтобы они не учитывались? Попробовал сделать так, но всё равно, открыты для индексации - allowed. Что делаю ни так?

Надо так:

Disallow: /?p=

Disallow: /?ps=