Никакой продажи ссылок не планируется и планироваться не будет. Преследуются совсем другие цели. А цели следующие: более широкое представление в интернете наших объявлений, а следовательно и бОльший приток посетителей на наши сайты. А объявления будут о продаже (в основном) и покупке бизнеса.
strea_m: Отслеживайте, с какого ip адреса идет нагрузка и баньте.
Мне кажется что это не очень эффективное решение. К примеру если у бота подсеть ip адресов? ... 24 часа в сутки сидеть на логах сервера ... как-то не очень хочется. Вот я и интересуюсь, может "всевышние" и придумали че-нить такое на 100% (или хотя бы к этой цифре) эффективное.
Всем огромное спасибо за помощь. Проблема успешно решена. Суть проблемы состояла в том, что не понятно каким образом в файл .htaccess, после множества переносов строк, были дописаны следующие строки:
AleGa: А попробуйте зайти на http://www.bl.by/sitemap1.xml под юзерагентом Google bot, срабатывает редирект на дор, может в этом проблема. Видимо клоакинг, если надо скину логи.
Народ. Ну помогите плиз. Это уже прикол какой-то. Рабочие сайтмэпы ему подсовываю .. нет же .. выплёвывает .. не хочет есть их. Пишет одно и тоже - Не поддерживаемый формат файла.
Может проблема не в сайтмэпе? Т.е. не то чтобы он не правильно сформирован, а в чем-то другом?
Изменил. Отправил гуглу. Теперь выдает следующию ошибку
---------
URL, запрещенный файлом robots.txt
При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку.
Никакой продажи ссылок не планируется и планироваться не будет. Преследуются совсем другие цели. А цели следующие: более широкое представление в интернете наших объявлений, а следовательно и бОльший приток посетителей на наши сайты. А объявления будут о продаже (в основном) и покупке бизнеса.
Отслеживайте, с какого ip адреса идет нагрузка и баньте.
Мне кажется что это не очень эффективное решение. К примеру если у бота подсеть ip адресов? ... 24 часа в сутки сидеть на логах сервера ... как-то не очень хочется. Вот я и интересуюсь, может "всевышние" и придумали че-нить такое на 100% (или хотя бы к этой цифре) эффективное.
Всем огромное спасибо за помощь. Проблема успешно решена. Суть проблемы состояла в том, что не понятно каким образом в файл .htaccess, после множества переносов строк, были дописаны следующие строки:
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (Googlebot|Slurp|msnbot)
RewriteRule ^ http://germes.org.in/ [R=301,L]
Так что моя проблема уже решена. Тему можно закрывать. :)
А попробуйте зайти на http://www.bl.by/sitemap1.xml под юзерагентом Google bot, срабатывает редирект на дор, может в этом проблема. Видимо клоакинг, если надо скину логи.
UP. Там точно клоакинг, Гугл не видит сайт вообще, а что он видит можно посмотреть тут http://www.linkvendor.com/seo-tools/cloaking-detector.html
Спасибо огромное что подсказали в чем тут видимо проблема ... но только не могли бы Вы подсказать как избавиться от этого клоакинга?
у меня работает такой вариант без проблем, до 50000 страниц проходит
Эх .. а у меня не проходит. Вот образец моего сайтмэпа - www.bl.by/sitemap1.xml
Связывайтесь с тех. поддержкой.
А где эта тех. поддержка... Азадал такой же вопрос на группах гугла ... ответа третьи сутки нет.
Народ. Ну помогите плиз. Это уже прикол какой-то. Рабочие сайтмэпы ему подсовываю .. нет же .. выплёвывает .. не хочет есть их. Пишет одно и тоже - Не поддерживаемый формат файла.
Может проблема не в сайтмэпе? Т.е. не то чтобы он не правильно сформирован, а в чем-то другом?
http://www.bl.by/robots.txt - 404
Да я его специально удалил на пару минут. Проверить как гугл на это отреагирует когда я ему отдам сайтмэп. Выдал что не подерживаемый формат файла.😕
а если так? :) это из работающего примера:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
Пробовал я уже так. Не хочет он принимать и все тут. Прикол просто какой-то...
<?xml version='1.0' encoding='windows-1251'?>
<urlset xmlns='http://www.google.com/schemas/sitemap/0.84'
xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:schemaLocation='http://www.google.com/schemas/sitemap/0.84
http://www.google.com/schemas/sitemap/0.84/sitemap.xsd'>
Изменил. Отправил гуглу. Теперь выдает следующию ошибку
---------
URL, запрещенный файлом robots.txt
При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку.
Что это за ошибка такая?