Определение забаненных каталогов и сайтов: сервис + скрипт

:)

да без проблем.

проверяю один каталожек... пишет забанен,

вторая попытка - все в порядке...

если интересно , то кину урлу каталога в личку.

Чего говорить то?

Вы что таких банальных истин не знаете?

Страница отдает 404 код то почему сайт забанен считается?

Какая страница отдает 404 ? Каталог ? Дык скрипту до него....

Яндекс отдает 404 ? Тогда и скрипт ошибку отдает. Все таки скрипт работает по данным Яндекса об индексации каталога.

Скриптом можно ведь не только каталоги проверять, а и сайты ваших партнеров с которыми вы ссылками меняетесь или купили у них ссылку, например.

Навигатор, Снимитесь ........ сами знаете с чего :)

Я же популярно 2 раза написал уже.

Если ввести урл который не существует и отдает 404 ошибку то вас "сервис" (именно в кавычках) пишет что домен забанен.

Знаете разнице между баном , пессимизацией , 404 ошибкой, запрещением индексации и банальной ошибкой в написании домена ?

PS Лучше напишите скрипт который будет платону письмо с вопросом слать и обрабатывать ответы. Это единственный способ определить бан.

Бедный Платон ........... :)

Десять раз проверил каталог, что вы мне дали - 10 из 10 - чистый. Может быть вы одновременно с кем то проверяли каталог ? Демка то ведь для всех одна.

ок. спасибо - успокоили:)

Deni, с большим уважением к Вам до этого относился.

В скрипте действительно нету проверки на существование сайта как такового. Оно и нафиг не нужно. Вам нужно получить чистые сайты ? Вы их получите. Бан или 404 большой роли не играет. Тем более откуда у вас несуществующие сайты ?

Мой робот, который собирает инфу о каталогах сайтов, с 404 нашел буквально единицы из 10000 урлов которые я ему дал. А вот "бывшие каталоги", от которых ничего не осталось - каждый третий URL. Там теперь другие сайты. Можно конечно написать скрипт для определения URL на "каталог/не каталог", но это уже не 300р.

А что, вы знаете прогу которая вычисляет применена ли к сайту пессимизация ?

вот это бы точно не помешало :)

А вчем сложность? Если говорить про ссылочную пессимизацию то запросто.

Тиц мелкий а беков много.

Кстати к каталогам это частенько применяется. У меня примеры есть (если уже не сняли)

Навигатор Вы считаете что если домен не доступен то это тоже самое что и бан ? :)

Deni, "мне с Вами скучно, мне с Вами спать хочется" (с)

Последняя попытка:

в моем понимании "домен не доступен" - это временное явление, когда по какой то причине при обращении к домену возвращается 404. Это на индексацию в Яндексе практически не влияет. Такой домен мой скрипт в забаненый не закинет.

в моем понимании "ошибся адресом" - это попал на несуществующий домен. индекса у такого домена нету. скрипт постичает его забаннем, что впрочем не меняет сути.

Ведь можно легко дописать проверку домена на наличие, но тогда прожорливость скрипта увеличится примерно вдвое. А надо ли это ?

***

Про пессимизацию. Вы знаете грань "много беков/мало тИЦ" ? Насколько я понимаю тИЦ зависит не от кол-ва беков, а от качества. Насобирайте 1000 беков с досок объявлений и формов. И что получите ? Потом купите 20 жирных тематических морд. Почувствуйте разницу...

Да и потом высокий тИЦ - это еще не залог успеха.