Сайт не один, их много, потому роботы сканируют достаточно много страниц. А на сам человеческий трафик остается не так много ресурсов. Сайтмапы есть и мне важно держать максимальное количество страниц в индексе.
Кеширование настроено и этого недостаточно. Все ненужные роботы в бане
Пардон, никак не ожидал что кто-то ответит.
Спасибо за дельные советы danforth , MrLexKo, DiKiJ
Ботов банили, крол дилэй и вправду не работает.
В вебмастера такие сайты добавлять рискованно.
Сервера вот такие в основном - https://hetzner.com/hosting/produkte_rootserver/ex41/
Миллиарды страниц - парсинг + генерация
Кеширование конечно же реализовано.
Вопрос был про движки, которые при наличии миллиардов страниц не будут грузить сервер и как уменьшать нагрузку от роботов пс
Посоветуйте партнерку с хорошими готовыми тизерами для поискового ру трафа?
Тематики следующие:
Авто
Сериалы, кино
Свадьба
Мамочки
Путешествия и страны
Кулинария
Любовь
Мультики
и еще куча всего, устану писать.
вот так выглядит htaccess
с проблемой так и не справился. кто поможет?
в итоге проиндексировался сегодня.
убрал редирект с домена на домен с www
видимо он и мешал индексации.
всем спасибо!
1)закрыть внешние ссылки
2)ссылки и сабмиттер помогут
3)возможно и скрипт плохой
4)может и в сервере дело
если внутряк не трогали значит в ссылках беда скорее всего
анализировать и ждать апа
вес скорее всего неправильно передается и рост ссылочного не нравится яше.
пробуй вес анкорами заколцевать и вести на несколько страниц и ссылочным тоже разбавить,но приоритет все таки оставить на продвигаемую страницу
главное не тип а качество
такое случается например на джумле если несколько меню настроены на разные титлы.
обычно титлы меняются в течении 2 недель
а сам контент немного менять пробовали?
