And-rey

Рейтинг
78
Регистрация
01.04.2012

В инструменах вэб-мастер есть "Удалить URL"... и там при удалении адреса страницы есть выбор всю или только кеш страницы. Сам напутал недавно описание и кейворды, указал удалить кеш и при переиндексации сайта теперь в гугле измененная версия. А если стремно удалять, то ждите пока само не обновится =)

...ну, задавая ряд запросов в ПС я сегодня как-то наткнулся на 100%-ую схожесть первых двух сайтов. Один и другой в выдаче есть. И как правило я далеко за 3 страницу поиска не уходил.

А что касается последних двух - один из них обнаружен в объявлениях, том самом "жёстко модерируемом" Яндекс.Директе =)

Нет:
And-rey, вас не затруднит написать запрос по которому оба сайта из первого примера находятся "в ТОП двумя сразу ресурсами"?

к сожалению я окна во вкладках с запросами уже позакрывал... но запрос что-то вроде этого (позиция №7) был. Так а смысл высматривать как эти сайты умудряются двумя зайцами вверх двигаться. В поисковой выдаче подобное попадалось мне и не раз. Просто читая посты здесь на форуме типа "Google, зачем?" или "Понизилась выдача от 19.01.13"... видя в выдаче вышеприведённый пример равнодушию моему настал предел. Действительно вообще не врубаюсь как двигаться-то правильно?😮

http://www.design-sites.ru/utility/search-xml.php этот сервис выдал "далеко за 500"... ну, уже видать "теплее"=))

Понятно, конкретного ресурса, определяющего точную позицию нет... Вручную нереально. Да и в принципе картина и так ясна - сайт пока в полных дебрях...

Ну а тема пусть останется открытой, может кто и видел в инете ресурс, определяюший позиции в более широком диапазоне... Спасибо за ответы!

Разобрался... Оказывается если ставить примочку-компонент Xmap для сайтов на движке Joomla, то обязательно нужно учесть - совместим ли он с дополнительно установленным сторонним компонентом на сайте из области "компонент-движок" для доски объявлений, для форума, недвижимость, каталог, инет-магазин, K2, zoo.... ну, те кто юзают джумлы, поняли о чём речь.

У меня что получилось, Xmap не поддерживает JEA, потому и сделал карту сайта только на 22 ссылки - то что в главном меню и боковом. Я воспользовался ресурсами

http://www.web-site-map.com/xml_sitemap.php

http://www.sitemaps-builder.com/index.php

оба создали карту на 272-300 ссылок... разобраться осталось что лишнее отсечь. К примеру постраничная навигация влетела как 30 лишних ссылок по сайту...

Единственное остаётся посмотреть как гугл потом воспримет другую карту сайта, с 272 ссылками... А то что robots.txt вызывает глюк в Файле Sitemap внутри вэбмастер-тулс от гугла - пока не разобрался. Позже отпишусь, спасибо за оставленные дельные советы

Gennadi Благодарю за понимание! Да уж, джумла лидер среди CMS которые плодят дубликаты. Вот года 3-4 назад видать этот движок просто супер был: закидывал в поисковики кучи ссылок на одну и ту же страницу сайта, тем самым повышая его цитируемость и вообще наличие в выдаче под любой вариант соответствующего тематического запроса. На сегодня всё обстоит иначе: не дай бог в индексе будет с www и без него, что уже говорить за остальное

Что касается сайта, который переделываю, то, да - переставил движок на 2.5.8, компонент по недвижимости оставил JEA, установил sh404SEF, компонент Xmap.... и вот его как раз и буду сносить, не нравится он гуглу. Лучше самому создать sitemaps.xml и скормить его поисковикам. С robots.txt пока неясности, открою Disallow: /images/ - может туда не пробраться роботу, хотя всё одно не въеду в это сообщение:

Сведения об ошибках: ошибок: 0, предупреждений: 22.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
Количество проблем - 22

=))) сомневаюсь, что это сигнал о недоступности к /images/... В карте сайта как раз 22 ссылки. Но попутный вопрос, а почему компонент Xmap не сделал ссылки в карту сайта на страницы с объявлениями? Ведь их 250 штук...

Потом смотрю сейчас запросом в поисковой строке гугла "site:mysite.ru" и вижу - Результатов: примерно 917 (0,08 сек.) То есть все дубли таки влетели в индекс гугла =)) Ведь визуально контролируемых мною страниц сайта 272... Это 250объяв+22страниц с меню :-(

Что удивительно(ну этт для меня), в той самой карте сайте содержаться 22 ссылки, ведущие:

- на главное меню сайта (6 страниц - главная, о компании, обратная связь и так далее);

- на боковое меню (остальные страницы - направления по районам от А до Я);

Все ссылки в карте выглядят как ЧПУ, с алиасами... никаких /index.php?option=com_jea&Itemid=171&id=1456а

А вот судя по рекомендациям тех, кто двигается на Joomla, как раз такой robots.txt и необходим... у всех подобное содержание. Мне получается нужно открыть Disallow: /components/ и Disallow: /media/ - как раз там и генерирует страницы с объявлениями компонент JEA!!!? Так тогда полезет в индекс поисковиков куча дублей.

Вообще чего-то запутался, а как формирует Joomla видимые для человека и робота страницы сайта. Вот их сейчас более 1000, а где они сами на сервере, как получается, что робот помимо одной страницы с объявлением умудряется увидеть еще такие же 4, ведущее на одно и тоже, но с различными комбинациями в URL : Itemid=...&id=... и этот еще lang=ru? во всех вариациях... Запутался, вижу гавно редкое эта джумла, но что поделаешь, малобюджетный вариант тот сайт, над которым работаю, точнее переделываю то что было у людей: в индексе 2 года сплошное generator="Joomla1.5!....." и около 2000 тыс дублей страниц без мета-тэгов и h1,h2... "стронгов"

да уж... что-то мне кажется я перестарался с борьбой по отсеканию дублей, спотыкается робот на блокировке всяких ..index.php?option

Стоит на сайте компонент sh404SEF, переколшмачивает ссылки типа

mysite.ru/index.php?option=com_jea&Itemid=171&id=101&lang=ru&view=property

в ЧПУ - mysite.ru/10-arenda-kvartiry-v-vihino

А что значит "адрес карты сайта не упростить через Rewrite"?

В структуре сайта да и в пунктах меню нет ссылок на папку с картинками... или робот подхватывает пути, где лежат картинки. Ох и горе мне с этой джумлой.. =))

Вот мой .htaccess, может там чего-то накрутил лишнего:

AddDefaultCharset utf-8

php_flag display_errors off
php_value error_reporting 0


Options +FollowSymLinks
Options -Indexes

<FilesMatch ".htaccess">
Order allow,deny
Deny from all
</FilesMatch>

<FilesMatch "configuration.php">
Order allow,deny
Deny from all
</FilesMatch>

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.mysite\.ru$ [NC]
RewriteRule ^(.*)$ http://mysite.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /glavnaya\.html\ HTTP/
RewriteRule ^glavnaya\.html$ http://mysite.ru/ [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://mysite.ru/ [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://mysite.ru/ [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /glavnaya\ HTTP/
RewriteRule ^glavnaya\$ http://mysite.ru/ [R=301,L]

Redirect 301 /glavnaya http://mysite.ru/
Redirect 301 /glavnaya.php http://mysite.ru/
Redirect 301 /glavnaya.htm http://mysite.ru/




########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits

# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root)

# RewriteBase /


########## Begin - Joomla! core SEF Section
############# Use this section if using ONLY Joomla! core SEF
## ALL (RewriteCond) lines in this section are only required if you actually
## have directories named 'content' or 'component' on your server
## If you do not have directories with these names, comment them out.
#
#RewriteCond %{REQUEST_FILENAME} !-f
#RewriteCond %{REQUEST_FILENAME} !-d
#RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR] ##optional - see notes##
#RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$ [NC]
#RewriteRule ^(content/|component/) index.php
#
########## End - Joomla! core SEF Section


########## Begin - 3rd Party SEF Section
############# Use this section if you are using a 3rd party (Non Joomla! core) SEF extension - e.g. OpenSEF, 404_SEF, 404SEFx, SEF Advance, etc
#
RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR] ##optional - see notes##
RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$ [NC]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule (.*) index.php
#
########## End - 3rd Party SEF Section

Ну что же, всякие тут аспиранты, академики, дипломники... т.е. те, кто давно на сайте по непонятным причинам, вместо дельных советов, предпочли некую словесную перепалку или цепляния за фразы и слова, которые им оказались неугодными в оставленных сообщениях. А может юмор такой и соответствующее настроение у них было ночью => я думаю не стоит заострять на этом внимание.

Что касается поднятой мною темы - подобный вопрос часто встречается как здесь на форуме, так и на соседних сайтах по сео, форумах и досках. Некоторые сомневаются и задаются вопросом о том, в чём могут возникнуть проблемы, если нелегальный шаблон используется или варезный, скачанный из свободных источников:

- см последний коммент

- услуги легализации

- о попытке защитить собственный шаблон =))

Здесь не получил ответа... да бог с ним, просто человеческий фактор сработал соответствующий, потому такие ответы = )... А Вот что пишут по подобной проблеме на других сайтах:

Есть подобный казус. Но возникают проблемы только с разработчиком шаблона, если вас как-то обнаружат, использовать платный шаблон нелегально нельзя, нужно быть членом клуба разработчика. Регистрируется ваш домен в их базе. Разумеется на платной основе. Большинство выложенных в сети варез-шаблонов содержат в себе вшитые ссылки на сайт разработчика. Что вличёт за собой понижение в тематической выдаче поисковиком вашего ресурса из-за лишних ссылок с главной, да еще не по теме. Если их затереть, то так и останетесь невидимыми для студий изготовителей. По таким ссылкам как раз выходят на ваш домен. Обычно это вшитые ссылки в php-код генерируемых страниц: base64 и охраняемые от их удаления из кода проверочными функциями...

Получается осталось дело за малым: удалить закодированные ссылки и ставь варез-шаблон. Конечно стрёмно выглядит - предлагаешь услуги по созданию сайта, а используешь бесплатно-скачанные шаблоны с торрента, которые на официальном сайте денег стоит, чужая разработка. За плечами у меня 7 сделанных сайтов и никто из клиентов не предпочёл заказ на "рисование" шаблона в Artisteer или фотошоп. Причина - сроки и стоимость.

Ну в принципе вопрос исчерпан, тема можно сказать закрыта, но для желающих высказаться по данному вопросу или дать совет, оставляю возможность комментирования.

Всем спасибо за оставленное мнение или совет!

Всего: 439