2ip.ru - определить IP домена. Напишите хостеру, чтобы запретил этому IP доступ на ваш сервер.
Я подобные прокси нахожу постоянно, вычисляем IP, блочим на всех сайтах, над которыми работаю, их все сразу. Вот и этот добавлю. Хорошо если IP домена совпадает с IP сканера (или как его правильно назвать), если нет - приходится тратить время на поиски.
antonio83: Да как что-то меняю на своем сайте или добавляю новый материал, на клоне тоже все сразу меняется – это значит что прокси? Как найти IP и закрыть на сервере объясните, пожалуйста. Следующее дело в том, что домена iclonename.ru не существует, то есть отдает 403 Forbidden как таким образом вычислить хостера и регистра. С Яндексом как я понимаю бесполезно общаться, а вот в Google, куда писать можно ссылочку.
Для начала определите IP домена и заблокируйте его на своем сервере. Если тянут с того же IP, на котором домен лежит - то сайт ваш сразу пропадет по тому адресу. Если нет - нужно искать с какого IP тянут.
Домен существует, поскольку работает. Закрыт доступ к главному домену, открыт к поддоменам. Ищите регистратора домена, пишите ему, сделаете доброе дело - там не только ваш сайт на поддомене.
И гуглу, и яндексу писать бесполезно в таких случаях. Можно попробовать после блокировки подать запрос на удаление чужого сайта из кеша гугла (как устаревшее содержимое, с проверкой по фразе), но это срабатывает не всегда, да и не быстро.
borisd: Из всех вариантов решения проблемы пагинации, я остановился на следующем:
Во всех пагинированных страницах (у которых в урле ?page=...) в метатеге robots прописал "noindex, follow". Таким образом я запрещаю помещать пагинированные страницы в индекс, но разрешаю пауку проходить по ссылкам на них. В итоге и дублей нет, и на индексации товаров не сказывается.
Выбрал этот вариант как самый простой. У меня Друпал и всё это дело делается автоматом в хуке.
Самый просто вариант не всегда самый правильный )
Помимо того, noindex - не запрет, а просьба. Часто страницы все равно оказываются в выдаче )
antonio83: Спарсили полностью весь сайт со всеми счетчиками, рекламой, контентом и т.д. Что можно предпринять в этом случае и более того как отнесется к этому Google. Видимо недавно пока в Яндексе и Google показывается только главная. Есть ли лечение этому безобразию или просто забить? Как посмотрит адсенс на это не забанять ли аккаунт? .
Для начала проверить спарсили сайт или это прокси. Измените что-либо в тексте на сайте - если изменится на клоне сразу, значит прокси. Тогда найти IP и закрыть доступ на сервере.
Если спарсили - сложнее, тогда пробуйте написать хостеру и регистратору домена iclonename.ru, чтобы заблокировали.
В Яндекс и Гугл тоже можно написать, но от этого толку не много.
blackcarrot: Ну я как бы о том же, только клиенты этого не знают и берут то что им впарили из коробки вроде битрикса или magento. Н у и потом на форуме такие топики создают...
Для клиентов толковые программисты - это доп затраты=) Как говорится, скупой платит дважды...
Речь о том как сделать максимально эффективно, а не о жадности клиентов :)
legionerix: Важен, чтобы учесть весь приходящий трафик. Т.к. у нас в интернет-магазине около 10000 товаров, то на каждый товар редирект делать редирект... Это ппц.. А так мы бы по мере работы старого сайта смотрели бы по статистике оставшиеся страницы входа на которые не прописан редирект и добавляли.
Сделать редирект автоматически для программистов не проблема. Берут базу старого сайта, сопоставляют по ID товара с новой, ставят редирект - это не ручная работа. Помимо того, можно и без редиректов обойтись во многих случаях - пусть не поленятся и сохранят адреса страниц, особенно продвигаемых ранее и трафиковых. Зачем их вообще меняли неясно, генерили бы новые по новым правилам.
Если вы оставите оба сайта - будет дубль (сомневаюсь, что вы переписали ВСЕ тексты на новом сайте?) и получите падение сайта в выдаче, а не сохранение трафика. Помимо того, если магазин старый - на него стоят ссылки по всему инету, на форумах, в соц сетях и т.д. По ним может идти траф и будет утыкаться в 404 ошибку - зачем?
Зачем ручками по стате добавлять потом редиректы? Посмотрите на какие страницы шел трафик, на какие стоят хорошие ссылки - сразу будет все понятно.
У меня один проект переезжал со старой CMS на Битрикс, программеры хоть и возмущались, но урлы сохранили прежними. :) А новые на товары уже генерятся по-новому. А у вас с Битрикса на него же.. зачем придумывать себе мороку.
blackcarrot: Расскажите это разработчикам популярных CMS
Готовые CMS, даже популярные, никогда не выделялись хорошей оптимизацией под поиск. Всегда приходится вносить изменения, которые по вашему мнению необходимы для успешного продвижения. Потому к любой CMS лучше применять толкового программера и делать из сайта конфетку :)
blackcarrot: Если у вас на 2, 3 и 4 странице категории такой же текст как и на 1 странице, то можно для всех странинц с ?p= прописать канонической страницу категории.
Если с текстом проблем нет то rel=«next|prev» на ссылки пагинации.
На страницах 2,3 и т.д. не должно быть текста-описания категории, только на основной.
2ip.ru - определить IP домена. Напишите хостеру, чтобы запретил этому IP доступ на ваш сервер.
Я подобные прокси нахожу постоянно, вычисляем IP, блочим на всех сайтах, над которыми работаю, их все сразу. Вот и этот добавлю. Хорошо если IP домена совпадает с IP сканера (или как его правильно назвать), если нет - приходится тратить время на поиски.
Да как что-то меняю на своем сайте или добавляю новый материал, на клоне тоже все сразу меняется – это значит что прокси? Как найти IP и закрыть на сервере объясните, пожалуйста. Следующее дело в том, что домена iclonename.ru не существует, то есть отдает 403 Forbidden как таким образом вычислить хостера и регистра. С Яндексом как я понимаю бесполезно общаться, а вот в Google, куда писать можно ссылочку.
Для начала определите IP домена и заблокируйте его на своем сервере. Если тянут с того же IP, на котором домен лежит - то сайт ваш сразу пропадет по тому адресу. Если нет - нужно искать с какого IP тянут.
Домен существует, поскольку работает. Закрыт доступ к главному домену, открыт к поддоменам. Ищите регистратора домена, пишите ему, сделаете доброе дело - там не только ваш сайт на поддомене.
И гуглу, и яндексу писать бесполезно в таких случаях. Можно попробовать после блокировки подать запрос на удаление чужого сайта из кеша гугла (как устаревшее содержимое, с проверкой по фразе), но это срабатывает не всегда, да и не быстро.
/ru/forum/827784
Закрыть в роботс, если нужно быстро убрать из поиска - удалить страницу из кеша Яндекса и гугла в инструментах (аккуратно, не удалите весь сайт).
Из всех вариантов решения проблемы пагинации, я остановился на следующем:
Во всех пагинированных страницах (у которых в урле ?page=...) в метатеге robots прописал "noindex, follow". Таким образом я запрещаю помещать пагинированные страницы в индекс, но разрешаю пауку проходить по ссылкам на них. В итоге и дублей нет, и на индексации товаров не сказывается.
Выбрал этот вариант как самый простой. У меня Друпал и всё это дело делается автоматом в хуке.
Самый просто вариант не всегда самый правильный )
Помимо того, noindex - не запрет, а просьба. Часто страницы все равно оказываются в выдаче )
Спарсили полностью весь сайт со всеми счетчиками, рекламой, контентом и т.д. Что можно предпринять в этом случае и более того как отнесется к этому Google. Видимо недавно пока в Яндексе и Google показывается только главная. Есть ли лечение этому безобразию или просто забить? Как посмотрит адсенс на это не забанять ли аккаунт? .
Для начала проверить спарсили сайт или это прокси. Измените что-либо в тексте на сайте - если изменится на клоне сразу, значит прокси. Тогда найти IP и закрыть доступ на сервере.
Если спарсили - сложнее, тогда пробуйте написать хостеру и регистратору домена iclonename.ru, чтобы заблокировали.
В Яндекс и Гугл тоже можно написать, но от этого толку не много.
Ну я как бы о том же, только клиенты этого не знают и берут то что им впарили из коробки вроде битрикса или magento. Н у и потом на форуме такие топики создают...
Для клиентов толковые программисты - это доп затраты=) Как говорится, скупой платит дважды...
Речь о том как сделать максимально эффективно, а не о жадности клиентов :)
Важен, чтобы учесть весь приходящий трафик. Т.к. у нас в интернет-магазине около 10000 товаров, то на каждый товар редирект делать редирект... Это ппц.. А так мы бы по мере работы старого сайта смотрели бы по статистике оставшиеся страницы входа на которые не прописан редирект и добавляли.
Сделать редирект автоматически для программистов не проблема. Берут базу старого сайта, сопоставляют по ID товара с новой, ставят редирект - это не ручная работа. Помимо того, можно и без редиректов обойтись во многих случаях - пусть не поленятся и сохранят адреса страниц, особенно продвигаемых ранее и трафиковых. Зачем их вообще меняли неясно, генерили бы новые по новым правилам.
Если вы оставите оба сайта - будет дубль (сомневаюсь, что вы переписали ВСЕ тексты на новом сайте?) и получите падение сайта в выдаче, а не сохранение трафика. Помимо того, если магазин старый - на него стоят ссылки по всему инету, на форумах, в соц сетях и т.д. По ним может идти траф и будет утыкаться в 404 ошибку - зачем?
Зачем ручками по стате добавлять потом редиректы? Посмотрите на какие страницы шел трафик, на какие стоят хорошие ссылки - сразу будет все понятно.
У меня один проект переезжал со старой CMS на Битрикс, программеры хоть и возмущались, но урлы сохранили прежними. :) А новые на товары уже генерятся по-новому. А у вас с Битрикса на него же.. зачем придумывать себе мороку.
Расскажите это разработчикам популярных CMS
Готовые CMS, даже популярные, никогда не выделялись хорошей оптимизацией под поиск. Всегда приходится вносить изменения, которые по вашему мнению необходимы для успешного продвижения. Потому к любой CMS лучше применять толкового программера и делать из сайта конфетку :)
Если у вас на 2, 3 и 4 странице категории такой же текст как и на 1 странице, то можно для всех странинц с ?p= прописать канонической страницу категории.
Если с текстом проблем нет то rel=«next|prev» на ссылки пагинации.
На страницах 2,3 и т.д. не должно быть текста-описания категории, только на основной.