Как писал EvgRen Очень плохо они относятся, такие страницы от индексации надо закрывать.
а как насчет ramblera, который со своим счетчиком сам дергает всё подряд, а особенно страницы с результами поиска и ссылки ещу не нужны.
p.s. был случай - тестировал что-то на странице, делал много рефрешей, на странице был счетчик рамблера - на следующий день - бац страница уже в базе поиска рамблера :(
Как писал gRigoriy Реьят ну вы даете =)) Вроде не первый день в интернете и так:
Заходим и дивимся... Для ленивых:
Российская Информационная Сеть Поисковая система RIN.ru
Как писал ASPL Вот я вчера написал на spam-report@yandex-team.ru телегу о сайте Fitisa (дабы не нарушать правила форума адрес писать не буду), который на меня стучал днем раньше, а сам накручивает индекс цитирования через кликэксченьч.ру и тоже спамит тегами <h1>. Посмотрим какой будет результат и есть ли правда в Яндексе 🙅
Скорее всего, он прикидывается двумя браузерами - Lynx и Mozilla.
Поведение следущее: с интервалом в секунду с 213.59.0.68 приходит два запроса, один от Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; COM+ 1.0.2204), второй от Lynx/2.8.4rel.1 libwww-FM/2.14 с запросом на один и тот же ресурс. Картинки не подсасывает.
Переодичность - 9-10 дней.
ой зря они так делают, я таких баню - кровососов непонятных 😡
Так это только подозрение. Во если действительно квота будет на все поддомены одна, тогда, пожалуй, хреново для больших сайтов будет. Но это еще надо посмотреть (про квоту).
у меня такое чувство, что в ближайшее время яндекс увеличит квоту ;)
ибо сейчас остальные основные поисковики рунета кушают больше чем яндекс ;)
ко мне сегодня пришел Апорт и жреть понимаешь без остановки ;) уже почти 4000 страниц схавал и все ему мало - ест и ест...
Как писал EvGenius а подробнее можно?
можешь подсказать, если не секрет, как правильно делать нужно для хорошей индексации?
я сейчас делаю заголовки php и meta такие:
<?
header("last-modified: ".gmdate("D, M d Y H:i:s",filemtime("index.php"))." GMT");
header("pragma: no-cache");
header("cache-control: no-cache, must-revalidate");
?>
<meta name="robots" content="index,follow,noarchive"> - или просто all, в зависимости от страницы.
<meta http-equiv="last-modified" content="<?=gmdate("D, M d Y H:i:s",filemtime("index.php"))." GMT"?>">
что еще нужно? что насчет кодировки и иф модифиед сайнс?
и может last-modified я зря в php хидере и в meta вставляю (в смысле достаточно может только в header'e)?
вот у меня примерно так.
$intgmt=<текущая дата документа на свое усмотрение>;
$headers = getallheaders();
$gmt_source=$headers['If-Modified-Since'];
$intgmt_source=strtotime($gmt_source);
if($gmt_source&&!$show_first_page&&$ps_crawler)
//первую страницу всегда переиндексируем!!!, чтоб забирал новые линки
Как писал EvgRen Явление достаточно частое и временное, Апорт теряет весь сайт целиком. Подождите немного, обычно не более недели требуется на восстановление.
Можешь попробовать написать сюда - addurl@rol.ru
Вообще-то с Апортом такое бывает.
Я, например, долго сидел на 1 месте, потом вдруг резко упал на 38, а недели через 2-3 вернулся. Терпение, дорогой друг:)
Очень плохо они относятся, такие страницы от индексации надо закрывать.
а как насчет ramblera, который со своим счетчиком сам дергает всё подряд, а особенно страницы с результами поиска и ссылки ещу не нужны.
p.s. был случай - тестировал что-то на странице, делал много рефрешей, на странице был счетчик рамблера - на следующий день - бац страница уже в базе поиска рамблера :(
mnt, вручную, через .htaccess/mod_rewrite.
спасибо!
мне уже статью подкинули, как обычно ловят плохих пауков.
может еще кому будет интересно:
http://www.leekillough.com/robots.html
Реьят ну вы даете =)) Вроде не первый день в интернете и так:
Заходим и дивимся... Для ленивых:
Российская Информационная Сеть Поисковая система RIN.ru
да вот, видишь самим лень по ипу ходить :)
Вот я вчера написал на spam-report@yandex-team.ru телегу о сайте Fitisa (дабы не нарушать правила форума адрес писать не буду), который на меня стучал днем раньше, а сам накручивает индекс цитирования через кликэксченьч.ру и тоже спамит тегами <h1>. Посмотрим какой будет результат и есть ли правда в Яндексе 🙅
а как можно спамить тегами h1 и т.п? :D
спамом то это не считается.
По всей видимости, никак.
Скорее всего, он прикидывается двумя браузерами - Lynx и Mozilla.
Поведение следущее: с интервалом в секунду с 213.59.0.68 приходит два запроса, один от Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; COM+ 1.0.2204), второй от Lynx/2.8.4rel.1 libwww-FM/2.14 с запросом на один и тот же ресурс. Картинки не подсасывает.
Переодичность - 9-10 дней.
ой зря они так делают, я таких баню - кровососов непонятных 😡
Наводящие вопросы: а разве дизайн-студии пишут и контент сайта? Или у Яндекса есть поиск по дизайну, а не по содержанию текстов?
С уважением,
Александр Садовский.
конечно пишут, это знаете ли очень удобно и клиентам и дизайн-студиям, предлагаешь дизайн и контент-редактора сразу 😂
очень многие фирмы обращающиеся за дизайном не имеют штатного контент-редактора.
Так это только подозрение. Во если действительно квота будет на все поддомены одна, тогда, пожалуй, хреново для больших сайтов будет. Но это еще надо посмотреть (про квоту).
у меня такое чувство, что в ближайшее время яндекс увеличит квоту ;)
ибо сейчас остальные основные поисковики рунета кушают больше чем яндекс ;)
ко мне сегодня пришел Апорт и жреть понимаешь без остановки ;) уже почти 4000 страниц схавал и все ему мало - ест и ест...
🍻
а подробнее можно?
можешь подсказать, если не секрет, как правильно делать нужно для хорошей индексации?
я сейчас делаю заголовки php и meta такие:
<?
header("last-modified: ".gmdate("D, M d Y H:i:s",filemtime("index.php"))." GMT");
header("pragma: no-cache");
header("cache-control: no-cache, must-revalidate");
?>
<meta name="robots" content="index,follow,noarchive"> - или просто all, в зависимости от страницы.
<meta http-equiv="last-modified" content="<?=gmdate("D, M d Y H:i:s",filemtime("index.php"))." GMT"?>">
что еще нужно? что насчет кодировки и иф модифиед сайнс?
и может last-modified я зря в php хидере и в meta вставляю (в смысле достаточно может только в header'e)?
вот у меня примерно так.
$intgmt=<текущая дата документа на свое усмотрение>;
$headers = getallheaders();
$gmt_source=$headers['If-Modified-Since'];
$intgmt_source=strtotime($gmt_source);
if($gmt_source&&!$show_first_page&&$ps_crawler)
//первую страницу всегда переиндексируем!!!, чтоб забирал новые линки
{
//здесь можно писать лог
//
if($intgmt<=$intgmt_source)
{
//тут тоже
header("HTTP/1.0 304 Not Modified");
exit;
}
}
header("Expires: 0");
header("Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0");
header("Pragma: no-cache");
header("Last-Modified: $gmt");//$gmt преобразованый в gmt $intgmt
header("Content-Type: text/html; charset=windows-1251");
Явление достаточно частое и временное, Апорт теряет весь сайт целиком. Подождите немного, обычно не более недели требуется на восстановление.
ух - ну спасибо!, успокоили мою душеньку ;))
пойду выпью пивка ;)
Можешь попробовать написать сюда - addurl@rol.ru
Вообще-то с Апортом такое бывает.
Я, например, долго сидел на 1 месте, потом вдруг резко упал на 38, а недели через 2-3 вернулся. Терпение, дорогой друг:)
так у меня вообще страниц нет теперь на Апорте.
по запросу url=<сайт> теперь нифугилички нет :(((
спасибо за мыло.