Что мешает RSS выдавать с задержкой?
Наиболее сумасшедший способ если вас Яндекс быстро индексирует - после того как Яндекс индексирует новую созданную страницу (по юзер-агенту определить), обновлять RSS.
Также раз у вас копируют контент - наверняка копируют и ссылки. Ставьте абсолютные ссылки в статье. Причём такие, без которых текст теряет половину смысла - если будут распарсивать с удалением, то многое потеряют. Предлагаю также поэкспериментировать с отдельными классами - например повешайте в начале текст с нейтральным содержанием (чтобы ключевики в тексте не портить), закройте его от индексации роботами и спрячьте в css. В распарсенном тексте скорее всего этот "глюк" появится, ведь не будут у вас стили парсить.
Как раз работать руками - гарантированно упустишь. У меня на сайте + форуме сейчас проиндексировано 150 000 страниц. Если начать сегодня записывать и тратить по 20 секунд на страницу - то через 104 рабочих дня по 8 часов я как раз закончу создавать карту.
Nesvobodnye - если на сайте больше 10 страниц, то даже не стоит возиться с ручной картой. Если так охота чтобы гарантированно новые страницы индексировались, пустите их отдельной RSS-лентой и добавьте в качестве sitemap (это не полноценная карта, но Гугл так позволяет). И Яндекс будет быстро индексировать.
Komap - сайт большой? Если менее 200 Мб, грязные скрипты вешать не будете и сами поставите всё что надо - то я вам дам хостинг бесплатно. Пишите в личку.
Bor-ka - я лично думал что всё это случайность. Что повышение температуры летнее + начинает повышаться использование оборудования из-за конца лета сделали своё дело.
Но когда увидел ваше сообщение пришла совершенно сумасшедшая мысль о подготовке к выборам. Хотя наверное это действительно сумасшедствие - но если DDos-атаки по хостерам продолжатся и интернет будет отваливаться - впору и в это поверить.
Wss - обменяюсь с (2) и (3) - отписал в личку. Можете добавиться сами через ссылку в подписи.
Vikf - проверяли как видят роботы сайт?
Вполне возможно что при нормальном User-Agent сайт просит авторизацию, если же указан робот - то отдаёт реальный контент страницы. Это не является нарушением лицензий поисковых систем. Довольно много сайтов отдают весь контент роботам, даже тот который доступен только после регистрации.
Angel - и с англоязычных ресурсов есть ссылки с тех каталогов, которые копируют DMOZ - некоторые копируют и языковые разделы.
Русские копии тоже есть - вот например кто внесён в DMOZ
Спасибо McHost
RussianPro - мне было письмо об атаке DDos. Был подвисший сервер в течение нескольких часов - время отдачи страниц составляло несколько десятков секунд, посещаемость упала в 1.5 раза.
Зарубежный трафик не пропадал.
Вам так и не восстановили?
Проблема решается увеличением популярности Google в России. Сейчас доля Google по русскоязычным пользователям отстаёт в 3-4 раза от Яндекса - вот уже делайте поправку.
Проведите мониторинг позиций - что в Google и что в Яндекс - тоже понятно будет куда двигаться.
Обратные ссылки - не волнуйтесь, Google никогда не показывает много. Хотите видеть больше - регистрируйтесь в Google Webmasters
