пока <noindex> ... </noindex> (как ни странно) работает.
Первое что мне тоже пришло в голову - это перейти к псевдостатике.
То, что Янд уже сожрал много ненужных страниц решил так:
изменил скрипт так, что по ссылкам в базе Янд - пользователь попадает на описание того товара, который и искал, а для реального обсуждения товара ссылка теперь другая, причём уже тоже через псевдостатику.
Скрипт такой, что сложно перевести все генерируемые страницы и разделы на псевдостатику - можно лишиться некоторой функциональности движка.
Поэтому совет от andrej-ilin - запретить роботам динамику пришёлся кстати.
Может кто подскажет универсальный текст запрещающий роботам индексацию динамических страниц...
Semonitor: Такое бывает иногда, особенно если проверять на большую глубину. Вообще Google последнее время (недели две как) начал ужесточать политику отслеживания автоматических запросов, поэтому я в скором времени добавлю возможность использовать прокси серверы при работе программы (т.е. каждый запрос будет идти с разного IP, что исключает возможность блокировки). Это думаю в пределах двух-трех недель будет. Пока же просто рекомендую не ставить очень большую глубину (>500).
Спасибо за разъяснение с многопоточностью.
Очень будет здорово, если появится поддержка проксь.
Я думаю это станет ещё одним плюсиком в рекламе Semonitor.
AiK: Пользуйтесь онлайн сервисами. Экономит траффик и нервы :) Я когда первый раз такое увидел, получил массу отрицательных эмоций. Гугль ещё какие-то гадости пишет, вроде бы про вирусы. IP блокируют из-за чрезмерно активного его юзания. SEMONITOR же (по крайней мере та древняя версия которой я когда-то пользовался), выполняет запросы в несколько потоков, отсюда и неприятности. Можно попытаться уменьшить их количество...
Спасибо. Про потоки я тоже подумал - дурное это дело многопоточность Semonitorа.
Боюсь показаться неоригинальным, но также прошу список на мыло:
vasilievbm (at) yandex.ru
Есть.
Вы не в Синилоке работаете, случайно? :)
Нет. Скорее - наоборот...
Всем огромное спасибо за советы.
Отдельное спасибо за совет andrej-ilin.
пока <noindex> ... </noindex> (как ни странно) работает.
Первое что мне тоже пришло в голову - это перейти к псевдостатике.
То, что Янд уже сожрал много ненужных страниц решил так:
изменил скрипт так, что по ссылкам в базе Янд - пользователь попадает на описание того товара, который и искал, а для реального обсуждения товара ссылка теперь другая, причём уже тоже через псевдостатику.
Скрипт такой, что сложно перевести все генерируемые страницы и разделы на псевдостатику - можно лишиться некоторой функциональности движка.
Поэтому совет от andrej-ilin - запретить роботам динамику пришёлся кстати.
Может кто подскажет универсальный текст запрещающий роботам индексацию динамических страниц...
Или надо писать по индивидуальной схеме ?
типа
Disallow: /index.php?discuss=yes'
Спасибо - всё понял.
Значит можно не обзаводиться ROBOTS.TXT вообще ?
Я не хочу - мне скрывать то особенно нечего, а роботы нынче умные - особенно Я.
Что такое низкочастотники и высокочастотники ?
Подскажи что это <NOINDEX> ? это где ? Хотя бы в двух словах... Я врублюсь.
Вот бы так хорошо освоить Yandex.
5000 бессонных ночей - и дело в шляпе ?
Кстати - форум этот сильно помогает мне во всём.
Да прибудет сила с нами.
Главное не расслабляться сильно... ИМХО
Извините - если офтопик, но в чём причина успеха Cинихлока ?
Движок или "однофамильцы" в Yandexe ? ;-))
Кто-нить обсуждал уже это? Просто я не видел...
Такое бывает иногда, особенно если проверять на большую глубину. Вообще Google последнее время (недели две как) начал ужесточать политику отслеживания автоматических запросов, поэтому я в скором времени добавлю возможность использовать прокси серверы при работе программы (т.е. каждый запрос будет идти с разного IP, что исключает возможность блокировки). Это думаю в пределах двух-трех недель будет. Пока же просто рекомендую не ставить очень большую глубину (>500).
Спасибо за разъяснение с многопоточностью.
Очень будет здорово, если появится поддержка проксь.
Я думаю это станет ещё одним плюсиком в рекламе Semonitor.
Пользуйтесь онлайн сервисами. Экономит траффик и нервы :)
Я когда первый раз такое увидел, получил массу отрицательных эмоций. Гугль ещё какие-то гадости пишет, вроде бы про вирусы. IP блокируют из-за чрезмерно активного его юзания. SEMONITOR же (по крайней мере та древняя версия которой я когда-то пользовался), выполняет запросы в несколько потоков, отсюда и неприятности. Можно попытаться уменьшить их количество...
Спасибо. Про потоки я тоже подумал - дурное это дело многопоточность Semonitorа.
А под онлайн сервисами что подразумевается ?
Что они выполняют функции SEMONITORA ?