Кривизна вашего робота была в том, что строка host была первая, а ее понимает только Яндекс. Соотв. гугл вообще роботс не читал по причине ошибки в первой строке. В этом можете убедиться, просмотрев страницы в гугле, где он проиндексировал все ваши запрещенные директивы.
Мой роботс для форума IPB (v2.3.6) выглядит так:
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/install/
Disallow: /forum/interface/
Disallow: /forum/ips_kernel/
Disallow: /forum/jscripts/
Disallow: /forum/modules/
Disallow: /forum/resources/
Disallow: /forum/retail/
Disallow: /forum/skin_acp/
Disallow: /forum/style_avatars/
Disallow: /forum/style_captcha/
Disallow: /forum/style_images/
Disallow: /forum/style_emoticons/
Disallow: /forum/upgrade/
Disallow: /forum/uploads/
Disallow: /forum/lofiversion/
Disallow: /forum/admin.php
Disallow: /forum/conf_global.php
Disallow: /forum/init.php
Disallow: /forum/index.php?act=*
Disallow: /forum/index.php?showuser=*
Disallow: /forum/index.php?CODE*
Disallow: /forum/*mode=
Disallow: /forum/*pid=
Disallow: /forum/*view=
Disallow: /forum/*st=0
Clean-param: s /forum/index.php
Host: www.мой_сайт.ru
1. Host строка прописывается после всех disallow (иначе, этот роботс только для яндекса, для других ПС он ошибочный).
2. Как робот зайдет в тему, если адрес подфорума http://ваш адрес/index.php?s=bb7b6251910e88679d656a147efa268b&showforum=302
запрещен в роботс: Disallow: /index.php?s= ? Сами же запретили вход
А с чего вы взяли, что сайт попал под фильтр? Сайту 3 месяца. Продвижение ведется ли? Возможно, что сейчас сайт «встал» в соответствующие позиции.
Ну так действительно, может подождать…
Ко всему прочему, по моему мнению, стоит оптимизировать форум через файл robots, запретив по маске индексацию одинаковых страниц (но у которых адреса разные).
Ко всему прочему, ссылочек подкупите на главную и основные разделы форума.
Каким образом, интересно,- JavaScript?
проверяйте на клоны.
продаете ссылки со страниц?
Все что можно предъявил: свои whois-данные, дизайн. Все что можно. Отписываются стандартными фразами, типа … в по решению суда будут шевелиться. Только вот с кем судиться – не ясно, т.к. вор не известен.
«как пишет о себе в moikrug - любит ковырять чужие сайты, понимать как они устроены и на чем зарабатывают» - ну, психология «домушника» - залезть в чужое, поковыряться. Не мудрено, что разорился, потому как свое ничего не делает, а только все свои силы концентрирует на ковырянии чужого - т.е. цель – удовлетворить любопытство (а что внутри).
«ведь сложно сделать дубль авторского блога где идет активное комментирование постов или сайта» - да это и не нужно. Единожды могут скопировать вашу копию сайта, блога и т.д. (html) и выложить. Конечно, ваш сайт будет развиваться и далее, но и вор может с частотой 1 раз в 2 месяца сканировать ваш сайт и клепать статичные клоны. Но хреновина, на мой взгляд, в том, что сайт первоисточник и клоны будут отличаться, потому как на вашем появляются разные комментарии и посты. Т.о. клон не склеится, но будет портить жизнь, маячась в выдаче и конкурируя с вами.
Вот у меня такой вопрос…
Как я понимаю, сайты воруются (клонируются) программным методом. Отсюда вопрос… Что клонируется: html (что сформировано в итоге, на выходе) или php (на котором написаны страницы)?
Если именно html, то тогда страницы можно формировать таким образом, чтобы php сначала формировал часть страницы. И только после какой-нибудь манипуляции пользователя (например, согласия читать/смотреть дальше), создается с этим же адресом полная версия страницы. Т.о. по моим соображениям, если сайт и склонируют, то только с этими урезанными страницами.
блин, еще одну копию нашел (95 стр. в индексе). Все три клона под разными датами рег. домена. Все данные whois закрыты. Телефоны - липовые (звонил).
Все клоны лежат у одного хостера e-planet.ru
Удалять их категорически отказываются.
Остаюсь при своем мнении - вор - сам хостер. 🔥
Спасибо! Прибавил уверенности своим сообщением!
Отправил еще одно гневное письмо этому хостеру с тройкой доказательств, потому как на первое получил отказ типа "не наше дело, не хотим разбираться в этом где чей сайт".
Буду ждать результат.
