почитал немного инфу
было такое у других именно с молодыми сайтами
как решилось не понятно
о блин, а у меня оказывается вот какая ситуация /ru/forum/984994
вроде норм у тебя
вот смотри http://kostyakhmelev.ru/analitika/grafiki-horoshego-razvitiya-saytov.html#meditsinskij-sajt
и насколько правильно будет сделать такой роботс
User-agent: *
Allow: /
Disallow: /$
Disallow: /category/cat1$
Disallow: /category/cat2$
Disallow: /category/cat3$
Disallow: /category/cat4$
Disallow: /category/cat5$
Disallow: /cat1/*.html$
Disallow: /cat2/*.html$
Disallow: /cat3/*.html$
Disallow: /cat4/*.html$
Disallow: /cat5/*.html$
Disallow: /wp-content/upload/
Если надо индексировать только главную, первые страницы категорий, html страницы (статьи) в категориях
Что я не учел и / или какие минусы в таком роботсе Вы видите?
Спасибо!
а как настроить, чтобы страницы site.ru/page/2 не трогал а site.ru/cat_1_name/page/2
site.ru/cat_2_name/page/4
хавал
Привет!
Запуская сайтик на https и вот такая байда в ЯВМ
robots.txt существует, доступен, возвращает "200"
есть такая штука
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
может из-за нее
у кого может такое было
отпишите как решили
спасибо!
почему возник вопрос
ситуация такая
анализирую топ по определенному сем. ядру
там топы все старые (от 2 с копейками год)
и есть два сайтика до года и год+
так вот
у тех молодых объем статей в два раза больше чем в среднем по тому
вот и думай
burunduk, а как влияет возраст вообще тогда?
что именно под структурой Вы имеете ввиду?
это отдельная тема
