LinkExpert

Рейтинг
3
Регистрация
02.11.2005

Может здесь найдете - www.nevius.ru

ze6ra:

Вы как тИЦ забираете? Стандартным запросом каким то или тем же что ЯБар? Может в этом разница? Т.е. заголовки ЯБара отсылает и запрос аналогичный ЯБаровскому или другой какой?

Рискну предположить, что и у меня и у DM. тИЦ забирается стандартным способом.:)

Насколько я понял, цель данного законопроекта оградить курящих от некурящих, чтоб другие не пристрастились. Пускай они там стоят на морозе где-нибудь в закаулке. Завидовать им никто не будет. И уж тем более им не место в больнице, в школе и в других учебных заведениях.

А если человек захочет бросить курить, то у него лишь будет лишний стимул. Да и насколько я заметил, если человек долго не курит, то у него начинают нервишки пошаливать, а это тоже не есть хорошо.

http://search.yaca.yandex.ru/yca/cy/ch/www.*****.ru/

User-Agent: *

Disallow: /yca/cy

Что неправильно?

Ну тогда не знаю...

DM.:

Только я не понял при чем тут robots.txt,

У них через robots.txt закрыт доступ почти ко всем страницам, поэтому они на него и ссылаются.

ze6ra:
Ну за десять секунд тысячи то не сграбить.
У нас каталог берёт 1К в 30 сек. примерно. И нормально прочёсывает всё.

Дык у меня тоже кучу запросов каталог делает и тоже не банит. Так почему у DM. забанили? Каталог DM. как я понял обновляет тИЦ подряд у всех 7000 сайтов, а у моего сначало обновляет тИЦ, потом ищет обратную ссылку, потом у следующего обновляет тИЦ. В первом случае за еденицу времени скрипт будет делать больше запросов. Вот я и думаю, что причина в этом.

ze6ra:
Я не про поиск, я про запрос тИЦ.
Его как раз и запрашивать тем же методом что и ЯБар.
У меня и 3К и 5К запросов в день нормально проходило.

Да нет, банит скорее всего по другой причине. Видимо у Яндекса есть лимит запросов за единицу времени, скажем 1000 запросов за 10 сек. Пользователь с помощью своего браузера вряд ли столько запросов сможет сделать, а вот скрипт запросто. Скорее всего, так он и определяет все "автоматические" запросы.

ShiJaG:
Думаю приобрести каталог WebCAT Professional (он кстати к новому году подешевел)... Ни кто не пробовал его использовать? Меня интересует в нем система авторейтинга с автоматической проверкой ссылок.

Один мой знакомый приобрел этот WebCAT, установил на своем сайте, а он через некоторое время перестал определять и обновлять тИЦ сайтов, находящихся в каталоге. Оказывается Яндекс заблокировал IP, с которого скрипт производил автоматические запросы и похоже ещё не скоро его разблокирует. Вот тема:

/ru/forum/31326

Странно, у меня тоже есть каталог, который делает запросы на Яндекс, но он что-то пока не торопится блокировать IP сервера.

LinkExpert. Лучше не найдете.

Dwarf:
LinkExpert, почитал описание, есть вопросы:
1. Проверяются ли страницы с обратными ссылками на разрешение их индексации в robots.txt?
2. - " - " .. в meta robots?
3. - " - " .. в <noindex>?
4. - " - " .. <a rel="nofollow">?
5. - " - " .. в googleon/googleoff? (http://www3.uwm.edu/search/info/onofftag.cfm)

1,2,3,4 - Да. Про 5 ничего не слышал (страница не грузится).

И ещё проверяет не находиться ли ссылка между тегами:

6 - <script......</script>

7 - <!--....-->

123 4
Всего: 37