Ну значить смотрите структуру и где у вас выдается дата последней новости.
Пишем в .htaccess:
<IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_HOST} ^mysite.ru(.*) RewriteRule ^(.*)$ http://www.mysite.ru/$1 [R=301,L] </IfModule>
Если mod_rewrite уже включен, оставляйте только эту секцию после RewriteEngine on:
RewriteCond %{HTTP_HOST} ^mysite.ru(.*) RewriteRule ^(.*)$ http://www.mysite.ru/$1 [R=301,L]
Вместо mysite.ru - имя домена вашего сайта. :)
Для Yandex нужно прописать в robots.txt:
User-agent: Yandex Host: www.freejeans.ru
Для Google сегодня методику уже описывал в другом топике.
Яндекс уважает <!-- noindex --> и <noindex> (но <noindex> не валиден с точки зрения стандартов).
Rambler уважает <noindex>.
Yahoo уважает <!-- stopindex --> (сейчас Yahoo переходит на движок Bing, которому на <!-- stopindex --> пофиг).
Google поддерживает конструкцию <!--googleoff: all--><!--googleon: all-->, но она работает только в платной версии пользовательского поиска.
Если хотите что-то закрыть ото всех - подгружайте текст через JavaScript, а сами скрипты положите в директорию, запертую от индексирования в robots.txt.
Чем хороши вечные ссылки:
1. Платите за них один раз, а не каждый месяц.
2. Они остаются при вас всегда, пока существует сайт, где они размещены, и хозяин сайта соблюдает условия.
Минусы у них тоже есть:
1. Стоят обычно дорого.
2. Если ссылка будет забанена роботом, считайте, что деньги на ветер.
3. Ничто не вечно и никто не даст 100% гарантии, что они сохранятся в течении нескольких лет. нужно покупать ссылки только на проверенных и доверенных сайтах.
Я бы предложил вам закупаться обычными временными ссылками, а "вечные" получать путем ручного размещения сообщений на форумах, блогах и т.п. Будет, скорее всего, дешевле. И такие ссылки будут почти однозначно "белыми", если только вы не будете разводить откровенный спам.
Сделайте для страниц хорошее метаописание, символов на 150-250, также поработайте со структурой шаблона.
Поисковая система Majestic12. За 9 фунтов стерлингов можно прикупить платный аккаунт и анализировать сайты конкурентов сколько душе угодно (на бесплатном только 5 наиболее популярных ссылок). В целом много других полезных возможностей для сеошника. База по рунету у них небольшая, но постоянно пополняется. Бот их постоянно у меня на сайтах тусуется. Плюс - своя независимая база.
Alex Agent добавил 11-04-2011 в 01:05
К своему предыдущему посту добавлю следующее.
Иногда конкуренты могут не закрывать счетчики типа Liveinternet, Top100 Rambler и Top.Mail.ru. Смотрите выдачу, а именно переходы с сайтов. Как правило, переходы идут не с покупных ссылок, а с форумов, блогов, статей. Получив список таких сайтов, вы можете:
1. Забить их в SAPE и попробовать купить ссылки на них, если продаются.
2. Самим начать размещать там материалы, если это возможно.
Получите дополнительный ссылочный вес. ;)
Немного побурчу. Данный раздел у нас посвящен поисковым системам, посему CS здесь - оффтопик.
Без проблем, если переезд произойдет быстро, и IP VPS не был раннее нигде скомпрометирован.
По собственным наблюдениям:
1. Бот обходит далеко не все URL за раз и не старается каждый раз сосканировать сайт целиком. Интервалы сканирования, особенно на большой глубине (3 и больше) могут быть большими, до двух-трех недель.
2. Изменения в индекс попадают не сразу. Главная обычно обновляется часто, иногда в тот же день, внутренние страницы - раз в две недели, если было сканирование.
3. Сканирование страницы ботом не дает ее автоматического попадания в кеш и поиск в принципе.
4. Только что попавшая в индекс страница выходит на хорошие позиции далеко не сразу.
Что могу посоветовать:
1. В Google Webmaster tools подкрутите значение параметра "Crawl rate" в сторону большей частоты сканирования.
2. В sitemap установите небольшое значение параметра changefreq в daily.
3. Подкупите ссылок на страницы, кеш которых нужно обновлять почаще.
У меня помогала и такая штука:
1. Добавляем в вебмастере сайт без www, если он добавлен с ним, и с www, если без.
2. Идем в "Site configuration"->"Settings", опция "Preferred domain". Выбираем вариант "Display URLs as www.mysite.ru" или "Display URLs as mysite.ru", как вам удобнее.
+ редирект в .htaccess.
Ссылки не исчезли после этого, но новые добавляться перестали.
