Я понимаю почему вы не хотите помогать. Я должен сам разобраться. Я прочитал справку Яндекса. Я поискал в Яндексе. Я поискал в Гугле. И всё равно многое мне не понятно. У меня гуманитарное образование. Все эти технические вещи тяжело даются. Вот сделал файл роботс как смог. Мне кажется там всё нормально, но явно есть лишние строки, и строки, которых не хватает. Это и хотел тут выяснить. Но всё равно спасибо всем ответившим. А генераторам этим, которые делают файл роботс я не доверяю.
Давайте сделаем так. Я в эту пятницу сделаю файл роботс.тхт нормальный, который будет отдельно для Яндекса, Гугла и прочих ПС. Опубликую его здесь. А вы скажите нормальный он или нет и что в нём лучше и как поправить. Ладно?
Помогите, пожалуйста, сделать нормальный роботс.тхт. Я так понимаю надо сделать нормальный и отдельно прописать юсер агент для Яндекса Гугла и прочих ПС. Да?
Гугл вообще не знает, что это такое.
Спасибо.
И что? Нафиг он нужен в роботсе? Поиска от Mail.ru вообще нет.
Понял, удаляем.
С какой целью?
Уже разобрался. Должно быть закрыто.
Умные люди пишут, что всё таки последние две строчки нужны и их надо писать так:
Они правы? Причём для всех ПС.
Ещё вопрос. Для гугла может стоит это открыть? Disallow: /include/
Только для Яндекса.
То есть не из за клин парама в роботсе гугл выкинул все статьи мои из поиска?
Ну даёт и даёт. Зачем засорять файл роботс дублированием правил, если нет никаких особенностей?
Майл ру юзает поиск Яндекса.
2 последние строки лишние.
Спасибо.
Не написано про сайтмап.
Его нет и как его сделать я без понятия.
Для яндекса и гугла почему-то шибко разные правила.
Понял. Буду думать.
И зачем тебе Mail.ru?
Он тоже даёт трафик. Мало, но даёт.
Ещё нюансы:
Страница поиска имеет такую ссылку - https://site.ru/search.php я правильно запретил её в роботсе?
Статьи доступны кроме основного адреса ещё по ссылке https://site.ru/viewtopic.php?pid=253#p253 я правильно запретил её в роботсе?
Clean-param пишется 1 раз в конце файла роботс или можно его писать/не писать для каждого User-agent-а?
Сделал файл роботс. Напоминаю, что статьи имеют урл вида - https://site.ru/viewtopic.php?id=197 Рубрики https://site.ru/viewforum.php?id=6 также если зайти в статью с главной страницы сайта урл имеет вид https://site.ru/viewtopic.php?pid=197#p197
------------------------------------------------------------
User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /include/
Disallow: /extensions/
Disallow: /lang/
Disallow: *feed*
Disallow: *pid*
Disallow: *statistic*
Disallow: *print*
Disallow: *cid*
Disallow: *userlist*
Disallow: *search*
Disallow: *register*
Disallow: *login*
Disallow: *reputation*
Clean-param: amp&pid&action&print&cid
User-agent: Googlebot
Disallow: /admin/
Disallow: /cache/
Disallow: /extensions/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
User-agent: Mail.Ru
Disallow: /admin/
Disallow: /cache/
Disallow: /include/
Disallow: /extensions/
Disallow: /lang/
Disallow: *feed*
Disallow: *pid*
Disallow: *statistic*
Disallow: *print*
Disallow: *cid*
Disallow: *userlist*
Disallow: *search*
Disallow: *register*
Disallow: *login*
Disallow: *reputation*
Clean-param: amp&pid&action&print&cid
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /extensions/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Allow: /*/*.js (не уверен что это правильно)
Allow: /*/*.css (не уверен что это правильно)
---------------------------------------------------------------
Как-то так. Подскажите, плиз, всё верно?
Для сайта статейника лучше использовать CMS. ВордПресс например
Спасибо.