Тут есть проблема - сайт я делал не сам, а другие люди по заказу. Плюс я вообще не знаю как пишутся сайты. Поэтому я не знаю, как он работает, где что лежит и т.д. А значит не смогу разобраться что надо закрывать, а что нет. Собственно отсюда и пришло решение - тупо закрыть всё, а открыть только то, что нужно.
Но почему-то так не получается... И никто не может толком сказать - почему не получается?
потому что не получается. Роботс, который должен по идее работать (по крайней мере яндекс-вэбмастер ошибок не нашел), не работает - яндекс не пускает сайт на индексацию. Поэтому подозреваю что проблема не в роботсе. И для проверки хочу попробовать убрать в роботсе все ограничения и посмотреть что будет? пройдет ли сайт в индекс или нет? Если пройдет - значит проблема в кривом роботсе сейчас. Если нет - значит проблема в другом месте.
Но страшно налететь на какие-нибудь проблемы которые не смогу устранить. Поэтому подстраховываюсь этим вопросом.
Как-то так. :)
В том-то и дело, что я проверил этот роботс.тхт в Я.Вебмастере и он мне радостно написал "ноль ошибок". Я также проверил отдельные ссылки на открытость - и Я.Вебмастер показал, что те две, которые мне нужно открыть - открыты, а все остальные - закрыты. То есть все должно работать. Но не работает! Среди ошибок сайта по-прежнему висит фатальная ошибка:
При последнем обращении к файлу robots.txt было обнаружено, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.Проверьте robots.txt и снимите установленный запрет.
И в статистике страниц в индексе - 0.
Причем это не старые данные - я после изменения в роботс.тхт запустил проверку этой фатальной ошибки - и он опять ее нашел. :(
Не могу понять, что за ерунда... Поэтому и спрашиваю - это вообще нормальная идея: закрыть весь сайт полностью, но открыть несколько конкретных страниц? Или это некорректно и так делать нельзя в принципе?---------- Добавлено 17.02.2017 в 14:21 ----------
Хм... Но ведь в инструкции по роботс.тхт от яндекса написано, что порядок директив не важен, а кроме того - приоритет директив аллоу, выше чем у дизаллоу.
Цитата:
Совместное использование директивДирективы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом. Примечание. При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.
Так что по идее в этом проблемы быть не должно.
Ну я на всякий случай последовал вашему совету и поменял. А то мало ли, с яндексом всякое бывает... :)
А вообще сама идея такого роботс.тхт нормальна - запретить весь сайт, но открыть только пару ссылок? Это в принципе может работать?
Скажите, я правильно понимаю, что вот такой robots.txt
User-Agent: * Allow: /learn/prestuplenie-protiv-sobstvennoy-zhizni/ Allow: /learn/5-prichin-pochemu-ty-ne-otlichnik/ Disallow: / Host: www.домен.ru
запретит индексировать весь сайт, но даст проиндексировать две страницы:
www.домен.ru/learn/prestuplenie-protiv-sobstvennoy-zhizni/ и
www.домен.ru/learn/5-prichin-pochemu-ty-ne-otlichnik/
????
Или так делать нельзя - закрыть от индексации ВЕСЬ сайт и инструкциями allow открывать только некоторые страницы?
Заранее спасибо за ответы.
Спасибо за ответ.
Я на данный момент полный ноль в этом деле, поэтому я просто скажу, как я понимаю ситуацию, а если я не прав, вы меня поправьте, хорошо?
Обозначу два момента:
1) Насколько я понял, в роботс.тхт прописываются именно ФАЙЛЫ и папки, а не ссылки (которые в строке браузера). В моем же случае мне надо запретить некоторые страниц и разрешить другие, но все эти страницы идут из одного и того же файла. Как мне запретить часть файла (часть страниц)? Такая возможность технически предусмотрена?
2) Кроме того, запрет в роботс.тхт мне не поможет, поскольку он запретит поисковикам только скачивать напрямую эту страницу. Но если есть ссылка с индексируемых страниц на ту, что я в роботс.тхт запрещаю - поисковик с других, разрешенных страниц перейдет на закрытую и благополучно ее проиндексирует.
Я не прав?
