Не могу найти robots.txt

МарШа, Должен быть в корневой папке вашего домена, иногда в отдельных папках. Проведите поиск по всем папкам.

Разрешить к индексированию файл admin-ajax.php

Я понимаю, что то разрешить. Что разрешаем-то?

Скрипт admin-ajax.php выполняет продление пользовательской сессии WordPress — для удобства использования административной панели. Если администратор или редактор часто работает с сайтом, то это избавляет от необходимости каждый раз вводить логин/пароль. Но для 99% посетителей сайта этот функционал, скорее всего, не нужен: они ведь только читает контент, не редактируют его.

Это по аналогии, что некоторые закрывают /wp-content/, но открывают themes, для лучшей видимости сайта роботом.

Значение всего этого в поисковой оптимизации, совсем копеечное. Потому что при любом выборе мы не получаем дубли страниц.

Сделайте свой, скиньте в корень и проверьте, что получится.

Спасибо огромное!

---------- Добавлено 13.03.2017 в 22:35 ----------

Сделала свой, закинула в корневую директорию. Теперь показывает в строке поиска мой robots, а не тот. Куда теперь делся первый, не понимаю. Самоустранился. Я его так нигде и не нашла. Чудеса какие-то.

Давненько я такого бреда не читал... Ничего из этого ботам индексировать давать не надо. "Для лучшей видимости сайта" - для чего-чего? Для лучшей видимости ему нужно админку открыть или тему?

Но может быть, Вы мне сможете ответить на мой вопрос? Почему я не вижу robots в корневой папке? В строке поиска он есть, а там, где должен лежать, его нет! Но когда я делаю другой robots, в строке поиска отображается тот, который сделала я. Тогда куда тот "улетает"? А когда свой удаляю, тот снова появляется в строке поиска, но в папке фтп по-прежнему его нет!

Если у вас вордпресс, то или вы тупо смотрите не в ту папку, либо кто-то хорошо поковырялся в .htaccess (смысла, правда, не вижу). Скорее всего у вас ничего такого нет, и решается это даванием фтп какому-нибудь другу с лоховскими знаниями, он покажет.

Потому что у вас стоит вордпрессный SEO-plugin (видимо Yoast).

Если файла не сущсетвует, он вместо него отдает свой дефолтный (в котором как раз закрыта админка, и почему-то открыт admin-ajax).

А как только вы заливаете реальный файл в корень, ВП это чекает и начинает отдавать уже его.

Но лучше править в Yoast, раздел "Инструменты" => "Правка файлов" (как-то так)

Для гугла сейчас очень актуален вопрос заблокированных ресурсов. Который решается открытием папки themes в WP. В других движках можно просто открыть виды файлов js и css.

В панели Гугл Вебмастера рассылают сообщения "Googlebot не может получить доступ к файлам CSS и JS на сайте" вряд ли стали это отправлять, если это не имело никакого значения.