Sculptor

Sculptor
Рейтинг
179
Регистрация
11.06.2005
Должность
web-master

Может так? Для яндекса:

Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

http://help.yandex.ru/webmaster/?id=996567#1022359

Про Рамблер вот не знаю.

Ну если на сетке есть устойчивый траф с Яндекса и везде уник, то рассмотрел бы.

Ап и вправду клевый, ну как обычно - где качественно работал - ап, где забил - все так себе.

Замечаю как когда-то раскрученные сайты, а потом отказавшиеся от продвижения все равно сейчас неплохо себя чувствуют в топе - не иначе контент и возможно хистори анкоров пусть и снятых играет роль. Своеобразная "память" на ссылки.

Коллеги, у кого-нибудь в период с 15-го января склеило сайты? Через robots host?

Уже почти 2 месяца с нового года жду... волнуюсь))

sb1982, а в Яндексе сейчас сквозняки хоть чуток работают? Или чисто только под гугл берете?

Если не секрет))

Актуально как никогда.

В основном интересует ru зона и сайты в целом незаспамленные ссылками.

А вот купил бы такой софт... от $50-70 и более... пакетный. Именно анализатор урлов внешних на уник. Это и свои сайты чекать на воровство помогло бы постоянно, особенно в свете последних событий с bdbd (якобы их выбили своровав у них контент), и, что самое главное, оценивать качество доноров.

Такой софт весьма бы пригодился для отсева отвратно работающих страниц в биржах. Не секрет, что огромное количество сайтов имеют дублированный граберами контент, там может быть и тиц100 и пр3, и индексированность, а для яндекса страница быть далеким неуником. Это большой вопрос - насколько хуже с неуника передается ссылочное, но если страница в невидимом индексе (показать все страницы без исключения), то практика показывает что ссылка оттуда несмотря на индексацию ее работает спорно или слабо. По крайней мере проекты на которые нудно и тяжко проверялись доноры на предмет уника страницы очень хорошо себя чувствуют. Это во многом просто еще и качество сайта в целом показывает - уникальное наполнение.

Кроме того дикое количество служебных страниц продается с вполне нормальных сайтов - всякие там страницы с превью статей, с карт сайтов, со страниц дублированного контента, вообщем страницы которые можно найти по унику только "еще с сайта" - тоже тут вопросы возникают, насколько такие страницы работают, по сравнению с основной страницей находящейся по унику с текстом.

ЕСЛИ БЫ можно было бы реализовать программу, которая:

  • Берет некий шингл-пассаж со страницы донора сайта, возможно исключая пассажи с большим количеством стоп слов или по словарику слов с легкими весами (компания, технические характеристики - ну то что часто встречается в текстах); хотя это необязательно при нескольких разных итерациях проверки.
  • Делает запрос к Яндексу, получая выдачу в 10 урлов (как делать запрос - через кавычки или нет, нужно сообразить).
  • Ищет урл донора среди них и указывает а)место сайта б)выдается ли точный урл страницы или урл домена, но с другой страницой.
  • Повторяет несколько итераций для верности из разных мест кода, отсеивая короткие фрагменты текста, хтмл и ссылки.

*)И все это пакетно, из .txt списка урлов, чтобы не торопясь урлов 300-400 за несколько часов в один-два потока анализировало. Хотя и прокси не помешали бы. Ну и по размышлению еще можно всяких потом фич прикрутить, типа вычисления возраста страницы через вебархив, анализ некоего количества страниц с сайта в целом, чтобы определить вообще сайт на предмет пропорции своего и тыренного текста, коннект к урлам через API сапы (ну это уже баловство) и т.п..

Если кого-то такой софт тоже интересует - отписывайтесь в этой теме или в ЛС (или аська и мыло, см в профиле). Если 3-4 человека со мной соорганизуются по $30-50, можно будет заказать такое здесь или на фрилансе всяком. Естественно нужно продумывать многое, т.к. в чистом виде слишком примитивно.

Если такое уже есть - буду ну весьма признателен за ссылку. В принципе и отгугловый подошел бы анализатор.

Angy, это ваш сайт? Кто-нибудь на этом форуме может рекомендовать Вас? Вы зарегистрировались сегодня и предлагаете достаточно дорогое размещение...

Сделаете 50% скидку за отзыв о сайте?

У меня знакомая умудряется на пр0 всю низко и среднечастотку вытаскивать, но я вот работаю с запросами от 500-1000 и ставками на Директе порядка $3-4 по ним. И у меня сложилось ощущение что на определенном этапе сайт вязнет на подступах к десятке или чуть на границе ее, если в основном количеством работать, хоть и профильтрованном донельзя.

Вот думаю - комбинировать мелочевку с бирж с ручной покупкой стоит, или если уж пошел вручную покупать (чертыхаясь от долгих процессов взаимодействия) то лучше не влазить на мелкоссылки?

Что-то мне подсказывает что вроде и правильно и так, и эдак, ссылочное наливать, но мало ли...

Траффик www.house-tools.ru вчера составил 40 человек, из них как водится только половина из Москвы. 20 человек по низкочастотке... ну ниче так, сойдет. "Электро лобзик" на 7-м месте тоже, оно конечно, душу греет.

Тиц, PR и фаза луны на положение сайта в серпе не влияет.

А про Траст Ранг знает только Wolf, но он никому не скажет даже на ушко :D

Тормозило еще на этапе загрузки гугл аналитикс.

Отключение яваскрипта это хотелось бы чтобы было временное явление, на самом деле это ж не выход.

Всего: 805