Все вопросы по robots.txt

Добрый день.

Помогите по robots

User-agent: Yandex

Disallow: /manager/

Disallow: /newfotogalery.51535.html

Disallow: /newfotogalery.51541.html

Disallow: /news.554124.ogranichitely-na-okno.html

Host: antikot.ru

Sitemap: http://antikot.ru/sitemap.xml

User-agent: Googlebot

Allow: *.css

Allow: *.js

Disallow: /manager/

Sitemap: http://antikot.ru/sitemap.xmlать

Не могу совладать с яндексом.

5-ю строку он воспринял и не индексирует

3я и 4я строка его не устраивает отсутствием description на страницах

Писал дескрипшены - не помогло

Снял с публикации страницы- не помогло

Удалял url в ЯВМ - не помогло

2-я строка - индексирует папку и не пропускает выполненную оптимизацию под моб устройства

не оптимизирован и все...

2,3,4 строка индексируется. Может не правильно ограничил индексацию ?

Половина сайта на вордпрессе индексируется Яндексом по http половина по https, как настроить, чтоб в индекс шло все только по http?

Редирект сделать всех страниц с http на https , закрыть страницы в http в robots.txt ( <noindex></noindex>), можно проставить теги nofollow ( rel="nofollow"), но это вручную все придется. Какое-то время могут упасть позиции, но если грамотно все перенастроите, вернуться постепенно.

Спасибо за ответы.😂

Robots был верный.

Яндекс залипает с внесением исправлений.

У нас настроен роботс для всех ПС одинаковый, однако советуют настроить для каждого бота отдельно. Имеет ли это какой-то практический смысл?

Вебмастер, что в яше, что в гоше, показывает, что все ок.

Если нет необходимости указать ПС разные правила, то не имеет.

Условно разница невелика. Для гугла открывают папки с js и css, и не ставят host и sitemap. На практике один роботс с User-agent: * прекрасно работает.

vreditel, вот целая тема по вашему вопросу: /ru/forum/828288

User-agent: * достаточно