wolf: Ну и что, что он знает? Вы сообщаете роботу, что 301-й редирект осуществляется на http://tulanet.ru/ , а пользователь на самом деле попадает на совсем другую страницу. Мягко говоря, робот вводится в заблуждение. Уже за это можно схлопотать бан.
Это связано со сбором статистики: отключены куки -> нет переходов -> нет кликов. Возможно придется поддомен запретить к индексации.
Действительно, если работают автобаны, то чем робот умнее - тем тормознее. Но это поискову не надо. Возможно же сделать полную имитацию браузера с куками.
Гораздо проще считать всех потенциальными врагами и натравить тупую и злую собаку. А если мы не угадаем как правильно разложить для нее косточки она нас жестоко покусает.
Поэтому решать все-таки должен человек, проверять, вникать и банить, если злобно и умышленно: все мы люди разные и программная логика может быть разной.
Спасибо всем за поданные советы: буду исправлять не совсем исправное и писать грозному Я ;)
SerK: Страница: http://top.tulanet.ru/?jump=11953070 Выдает такой ответ:
HTTP/1.1 301 Moved permanently
Location: http://tulanet.ru/ Content-Type: text/plain; charset=windows-1251
Connection: Close
Перебрасывает на другой сайт.
У меня по крайней мере.
Для тог, чтобы не перебрасывала - надо посетить tulanet.ru с включенными куками ;)
Коля Дубр: ABVGD, если не секрет, как все ж это выходит? Сейчас поигрался с сокетами, изображая свой Firefox, со своей же машины - никакого наменка на редирект
mod_rewrite осуществляет серверную переадресацию на cgi-скрипт, который и редиректит с 301-м статусом.
BigBrother: tof.tulanet.ru
firm.tulanet.ru
....
(и еще несколько)
Еще вопросы за что забанили будут?
Спасибо за замечание: совсем забыл про "мертвые поддомены". Это надо будет исправлять. И это действительно не правильно. Хотя опять-таки - ресурс один.
SerK: У меня сейчас на другой домен перекинуло именно с этой страницы. Сайт одной web-студии
Это и не удивительно. Есть каталоги с прямыми ссылками, а есть через скрипт, что никогда не возбранялось. Тем более, что сам текст ссылки на страницах явно указывает, что это страница студии. И редирект - правильный - с кодом 3xx
Сразу не сообразил но суппорт ругается не на отклик 3хх (страница с редиректом), а на его отсутствие. Возможно придется провести ревизию скриптов. Хотя все равно переадресации происходят внутри одного ресурса
Так написан движок. Это удобно, это более безопасно, так как не надо делать cgi-bin для каждого поддомена, и это никого не обманывает. К тому же почти все поддомены и сам tulanet.ru - это один ресурс.
Ну и что, что он знает? Вы сообщаете роботу, что 301-й редирект осуществляется на http://tulanet.ru/ , а пользователь на самом деле попадает на совсем другую страницу. Мягко говоря, робот вводится в заблуждение. Уже за это можно схлопотать бан.
Это связано со сбором статистики: отключены куки -> нет переходов -> нет кликов. Возможно придется поддомен запретить к индексации.
Действительно, если работают автобаны, то чем робот умнее - тем тормознее. Но это поискову не надо. Возможно же сделать полную имитацию браузера с куками.
Гораздо проще считать всех потенциальными врагами и натравить тупую и злую собаку. А если мы не угадаем как правильно разложить для нее косточки она нас жестоко покусает.
Поэтому решать все-таки должен человек, проверять, вникать и банить, если злобно и умышленно: все мы люди разные и программная логика может быть разной.
Спасибо всем за поданные советы: буду исправлять не совсем исправное и писать грозному Я ;)
У роботов поисковиков они не включены.
Все равно сайт один, что top.tulanet.ru, что tulanet.ru и Яндекс об этом знает !
Страница: http://top.tulanet.ru/?jump=11953070
Выдает такой ответ:
HTTP/1.1 301 Moved permanently
Location: http://tulanet.ru/
Content-Type: text/plain; charset=windows-1251
Connection: Close
Перебрасывает на другой сайт.
У меня по крайней мере.
Для тог, чтобы не перебрасывала - надо посетить tulanet.ru с включенными куками ;)
ABVGD, если не секрет, как все ж это выходит? Сейчас поигрался с сокетами, изображая свой Firefox, со своей же машины - никакого наменка на редирект
mod_rewrite осуществляет серверную переадресацию на cgi-скрипт, который и редиректит с 301-м статусом.
tof.tulanet.ru
firm.tulanet.ru
....
(и еще несколько)
Еще вопросы за что забанили будут?
Спасибо за замечание: совсем забыл про "мертвые поддомены". Это надо будет исправлять. И это действительно не правильно. Хотя опять-таки - ресурс один.
У меня сейчас на другой домен перекинуло именно с этой страницы. Сайт одной web-студии
Это и не удивительно. Есть каталоги с прямыми ссылками, а есть через скрипт, что никогда не возбранялось. Тем более, что сам текст ссылки на страницах явно указывает, что это страница студии. И редирект - правильный - с кодом 3xx
......................
http://top.tulanet.ru/?jump=11953070
redirected to: http://tulanet.ru/
status code: 301 (object permanently moved)
linked from page(s):
http://tulanet.ru/
.........
Сразу не сообразил но суппорт ругается не на отклик 3хх (страница с редиректом), а на его отсутствие. Возможно придется провести ревизию скриптов. Хотя все равно переадресации происходят внутри одного ресурса
Kost,
Непонятно, откуда формулировка "редирект
на страницы в других доменах" когда по восприятию Яндекса (хотя бы по подсчету индекса цитирования) поддомены и сам домен - едины.
"Так как пользователи не смогут увидеть подобные
документы (браузер перенаправит их на другую страницу)"
ВСЕ страницы пользователю видны !
Если бы не было ответа суппорта, тогда бы пришлось гадать почему, А так получается, что ответ просто не соответствует реальной ситуации.
PPM, Спасибо за добрые слова.
Наверно придется исправляться. А это время, которого никогда не хватает.
Другие поисковики такие спокойные и невольно задумаешься откуда у Яндекса такой темперамент :)
Kost, Спасибо за совет :)
В том то и дело, что это фигня какая-то получается:
my.tulanet.ru - это панель управления для неавторизированных пользователей, в разделах, где авторизация необходима.
Кроме того, везде работает .htaccess с правилами внутренней переадресации запросов со всех поддоменов на скрипты в основном домене, например:
http://top.tulanet.ru/?jump=1234567 реально обращается к скрипту, реальный запрос к которому выглядел бы примерно так:
http://tulanet.ru/cgi-bin/xxx/xxx/top/xxx.cgi?jump=1234567
Так написан движок. Это удобно, это более безопасно, так как не надо делать cgi-bin для каждого поддомена, и это никого не обманывает. К тому же почти все поддомены и сам tulanet.ru - это один ресурс.
Может Яндексу mod_rewrite перестал нравиться?