это на WP из за тега shortlink, закрывать такие урлы - обычная практика.
User-agent: * # все ПС
Disallow: /admin* # на конце не нужна звездочка, поставит автоматом. Закрыть раздел admin, закрыть admin.php и др.. я бы поставить Disallow: /admin/
Host: http://profvorota.com.ua # главное зеркало
Request-rate: 3/1 # загружать не более трех страниц за 1 секунду. Не будет обрабатываться Яндексом.
Visit-time: 0400-0600 # загружать страницы только в промежуток с 4 утра до 6:00 по Гринвичу. Не будет обрабатываться Яндексом.
Sitemap:http://profvorota.com.ua/sitemap.xml #загружать сайтмап, только я бы для красоты пробел поставил.
не навредит
Привет, это глюк какой-то.. пиши хостеру. В robot.txt нельзя запретить весь протокол https, можешь хостом прописать http://.. Ну и закрыть определенные страницы, как понимаю вылезли страницы входа в панель управления? Их и закрой..
есть еще один выход через попу)
либо попробовать через .htaccess номально настроить ну и посмотри настройки главного зеркала в вебмастере (для яндекса)..---------- Добавлено 11.03.2015 в 18:34 ----------
1. Выбор за вами.. зависит от важности закрытия дублей.
2. GZ - сжатие. При большой карте сайта её сжимают, если нет необходимости - не используйте.
это костыль сайтов на ajax - руби тут ни причем. С Google обычно проблем нет, в основном проблемы с Яндексом. Смотрите ваши страницы через инструмент проверки отдачи вашего содержимого: https://webmaster.yandex.ru/server-response.xml, или посмотреть как google через GWT. Ну и сохраненки тоже смотрите.
штук 10 уже фильтров точно снимал: сохраняете из бирж выгрузку, сохраняете выгрузку ссылок из GWT, немного смотрите и удаляете ссылки которые вам важны, зависит от объема: понятно что если 100 ссылок, то можно все посмотреть, если 1000000 ссылок, чистите только Vk, yandex и прочие (особо не мучаясь).. как мне кажется чистить программами, расчитывать траст и тд - ерунда.. Загоняете все в файл, отклоняете в disawov tools и пишите в пересмотр: что все почистил, далее буду соблюдать все правила. Работы на 30 минут - 1 час..
Через неделю профит.
Позиции поднимаются через недели 2. Метод в основном действует с первого раза.
рубрика и страницы
User-agent: *
Disallow: /page
Allow: /rubrika/page
только страница и далее..
Disallow: /page/5
Allow: /rubrika/page/5
ПФ, траст, ссылки - нет..
спам - да
Текущая реальность из топ-10 в оптимизации под Яндекс - http://konteynerline.ru/index.php/20-futovyj-kontejner.html
удалить из выдачи
В одной из тематик в топе по Москве - Казахский форум, с веткой продаж в Казахстане..
думаю откатят..
