VasilievBoris

Рейтинг
3
Регистрация
20.07.2005

Боюсь показаться неоригинальным, но также прошу список на мыло:

vasilievbm (at) yandex.ru

dweller:
Есть.
Вы не в Синилоке работаете, случайно? :)

Нет. Скорее - наоборот...

Всем огромное спасибо за советы.

Отдельное спасибо за совет andrej-ilin.

пока <noindex> ... </noindex> (как ни странно) работает.

Первое что мне тоже пришло в голову - это перейти к псевдостатике.

То, что Янд уже сожрал много ненужных страниц решил так:

изменил скрипт так, что по ссылкам в базе Янд - пользователь попадает на описание того товара, который и искал, а для реального обсуждения товара ссылка теперь другая, причём уже тоже через псевдостатику.

Скрипт такой, что сложно перевести все генерируемые страницы и разделы на псевдостатику - можно лишиться некоторой функциональности движка.

Поэтому совет от andrej-ilin - запретить роботам динамику пришёлся кстати.

Может кто подскажет универсальный текст запрещающий роботам индексацию динамических страниц...

Или надо писать по индивидуальной схеме ?

типа

Disallow: /index.php?discuss=yes'

Спасибо - всё понял.

Значит можно не обзаводиться ROBOTS.TXT вообще ?

Я не хочу - мне скрывать то особенно нечего, а роботы нынче умные - особенно Я.

Что такое низкочастотники и высокочастотники ?

Подскажи что это <NOINDEX> ? это где ? Хотя бы в двух словах... Я врублюсь.

Вот бы так хорошо освоить Yandex.

5000 бессонных ночей - и дело в шляпе ?

Кстати - форум этот сильно помогает мне во всём.

Да прибудет сила с нами.

Главное не расслабляться сильно... ИМХО

Извините - если офтопик, но в чём причина успеха Cинихлока ?

Движок или "однофамильцы" в Yandexe ? ;-))

Кто-нить обсуждал уже это? Просто я не видел...

Semonitor:
Такое бывает иногда, особенно если проверять на большую глубину. Вообще Google последнее время (недели две как) начал ужесточать политику отслеживания автоматических запросов, поэтому я в скором времени добавлю возможность использовать прокси серверы при работе программы (т.е. каждый запрос будет идти с разного IP, что исключает возможность блокировки). Это думаю в пределах двух-трех недель будет. Пока же просто рекомендую не ставить очень большую глубину (>500).

Спасибо за разъяснение с многопоточностью.

Очень будет здорово, если появится поддержка проксь.

Я думаю это станет ещё одним плюсиком в рекламе Semonitor.

AiK:
Пользуйтесь онлайн сервисами. Экономит траффик и нервы :)
Я когда первый раз такое увидел, получил массу отрицательных эмоций. Гугль ещё какие-то гадости пишет, вроде бы про вирусы. IP блокируют из-за чрезмерно активного его юзания. SEMONITOR же (по крайней мере та древняя версия которой я когда-то пользовался), выполняет запросы в несколько потоков, отсюда и неприятности. Можно попытаться уменьшить их количество...

Спасибо. Про потоки я тоже подумал - дурное это дело многопоточность Semonitorа.

А под онлайн сервисами что подразумевается ?

Что они выполняют функции SEMONITORA ?

12
Всего: 12