Antonio R: Это трындец, а не апдейт... Мой главный белый и пушистый баблонесущий СДЛ (ну на 100 рублей ссылки в сеопульте на него закуплены, а в остальном все честно) подпал по какие-то санкции опять... еще пол года не прошло, как выбрался из под фильтра "ты последний" (под который попал возможно потому, что с моего сайта много контента воровали), и вот опять!!!!
И что теперь делать? :( Ыыыыыы!!!! 😡
То же самое, только слетел 2 апреля, сайт СДЛ постоянно добавлял новый и уникальный контент, тематика мода. Из 5000 и более уников приходящих с Яши теперь заходит от 50 до 100 человек. Все запросы улетели на 20-50 место. Заметил такую закономерность, у конкурентов которые сейчас на 1-й странице стоит реклама от яндекс-директ, а у меня стояли товарные тизеры и тизеры-похудение без шоковой рекламы. Наверное дело в этом, больше грешить не на что.
Написал письмо Платонам, указал страницы которые украли у меня контент один в один и дизайн и находятся теперь впереди меня, спросил, а что с моим сайтом не так.
И тишина, ни ответа ни привета. Общий трафик упал в 2,5 раза, а с Яндекса стремится к нулю.
Ripro: Если вы обнаружите ссылка на других сайтах - как вы их уберете? Можно, конечно, написать вебмастерам, чтобы исправили или сняли, но крайне редко они это делают.
Но если вдруг такую ссылку поставили на полезном форуме, например, и на нее идет трафик - поставить 301 редирект на главную, чтобы трафик не терять.
В роботс вы никак не закроете ссылки с чужих сайтов.
Если на вашем сайте - исправляйте ссылку на правильную. На страницу - 404.
Я понял речь шла о проверке своего сайта на плохие внутренние ссылки, спасибо за идею ставить 301 редирект на главную.
Ripro: 1. просканить сайт, я использую PageWeight - проверить внутренние ссылки
2. лучше собрать ссылки с нескольких источников - wmt, ahrefs и т.д., все, что вам подходит, любые сервисы. Но все они показывают часть данных, потому лучше собрать с нескольких. В том же ahrefs можно проверить внешние ссылки на конкретную страницу, а не на весь сайт.
Буду разбираться, никогда не занимался этим и не использовал никакие сервисы.
А если я обнаружу плохие неправильные ссылки на мои страницы, как и чем их закрывать.
В файле robots.txt и удалять их из вебмастера? Или есть другие сервисы?
Ripro: Закрыть в роботс - это не указание не индексировать, а просьба. Если на такой адрес поставили ссылок, например, то страница войдет в индекс. Проверьте ссылочное, в том числе и на сайте - может какой менеджер влепил в тексте такой линк. И отдавайте по адресу 404 обязательно.
Иногда входит по неведомым простым смертным причинам :) Просто потому, что вы не закрываете от индексации, а даете знать поисковику, что не хотели бы видеть страницу в индексе, а вносить ее или нет - он сам решает.
Спасибо за совет, не подскажете как проверить ссылочное, кроме как в вебмастере?
LEOnidUKG: Если у вас страница http://moysite.ru/404.php отдаёт код ошибки 404, а не 200 то ничего запрещать не нужно, ПС сами выкинут страницу.
Самое интересное, что при проверке на код ответа в вебмастере гугла и яндекса, ответ одинаковый, что эта страница (http://moysite.ru/?bug=moysite.ru) - "Запрещено в файле robots.txt"
Однако в гугле эта страница прекрасно проиндексировалась и стала дублем главной, вот и пойми почему она появилась в индексе...
Спасибо всем, надеюсь что тема закрылась с хорошим исходом.
LEOnidUKG: Движок правьте, если у вас на сайте ЧПУ везде, то можно сделать в начале кода такое:
if (preg_match('@(\?|&)@',$_SERVER["REQUEST_URI"])) {header("Location: /404.php");exit;}
И у вас нормально страница открывается по этому адресу?
У вас 100% и косяк в движке и в ссылках.
У меня движок на джумла и стоит родное ЧПУ, поставил Ваш код отдельно в начале index.php с оператором PHP (правильно ли я сделал?)
Куратор: Несложно найти ваш сайт в поиске. Ваш движок отдаёт страницу при обращении к ней без .html, так почему бы ПС не проиндексировать её? Наверняка кто-то сослался на эту страницу.
Латайте движок, вам прямая дорога к программистам.
Добавил строку в файл .htaccess
RewriteRule ^([^.]+)$ /$1.html [R=301,L]
Теперь перенаправляет все страницы без .html на страницы с .html
rel="canonical" - чтобы указать каноническую версию страницы
редирект - чтобы перенаправить на нее
По отдельности
rel="canonical" - не перенаправляет
редирект - не указывает каноническую версию.
🍾
Опять же повторюсь если мы одновременно поставим и rel="canonical" и 301 redirekt то по моему мнению робот просто не попадет на страницу /moda-shubi (без .html) и ставить там rel="canonical" не имеет смысла.
У меня все страницы можно открыть и с .html и без, и что мне на каждую страницу ставить 301 redirekt ?! , мне видится что это не совсем правильно, нужно какое-то универсальное решение, что бы дать понять роботу что нужно индексировать страницы только с .html
Это трындец, а не апдейт... Мой главный белый и пушистый баблонесущий СДЛ (ну на 100 рублей ссылки в сеопульте на него закуплены, а в остальном все честно) подпал по какие-то санкции опять... еще пол года не прошло, как выбрался из под фильтра "ты последний" (под который попал возможно потому, что с моего сайта много контента воровали), и вот опять!!!!
И что теперь делать? :( Ыыыыыы!!!! 😡
То же самое, только слетел 2 апреля, сайт СДЛ постоянно добавлял новый и уникальный контент, тематика мода. Из 5000 и более уников приходящих с Яши теперь заходит от 50 до 100 человек. Все запросы улетели на 20-50 место. Заметил такую закономерность, у конкурентов которые сейчас на 1-й странице стоит реклама от яндекс-директ, а у меня стояли товарные тизеры и тизеры-похудение без шоковой рекламы. Наверное дело в этом, больше грешить не на что.
Написал письмо Платонам, указал страницы которые украли у меня контент один в один и дизайн и находятся теперь впереди меня, спросил, а что с моим сайтом не так.
И тишина, ни ответа ни привета. Общий трафик упал в 2,5 раза, а с Яндекса стремится к нулю.
Не знаю что делать, просто тупик.
Если вы обнаружите ссылка на других сайтах - как вы их уберете? Можно, конечно, написать вебмастерам, чтобы исправили или сняли, но крайне редко они это делают.
Но если вдруг такую ссылку поставили на полезном форуме, например, и на нее идет трафик - поставить 301 редирект на главную, чтобы трафик не терять.
В роботс вы никак не закроете ссылки с чужих сайтов.
Если на вашем сайте - исправляйте ссылку на правильную. На страницу - 404.
Я понял речь шла о проверке своего сайта на плохие внутренние ссылки, спасибо за идею ставить 301 редирект на главную.
1. просканить сайт, я использую PageWeight - проверить внутренние ссылки
2. лучше собрать ссылки с нескольких источников - wmt, ahrefs и т.д., все, что вам подходит, любые сервисы. Но все они показывают часть данных, потому лучше собрать с нескольких. В том же ahrefs можно проверить внешние ссылки на конкретную страницу, а не на весь сайт.
Буду разбираться, никогда не занимался этим и не использовал никакие сервисы.
А если я обнаружу плохие неправильные ссылки на мои страницы, как и чем их закрывать.
В файле robots.txt и удалять их из вебмастера? Или есть другие сервисы?
Спасибо.
Закрыть в роботс - это не указание не индексировать, а просьба. Если на такой адрес поставили ссылок, например, то страница войдет в индекс. Проверьте ссылочное, в том числе и на сайте - может какой менеджер влепил в тексте такой линк. И отдавайте по адресу 404 обязательно.
Иногда входит по неведомым простым смертным причинам :) Просто потому, что вы не закрываете от индексации, а даете знать поисковику, что не хотели бы видеть страницу в индексе, а вносить ее или нет - он сам решает.
Спасибо за совет, не подскажете как проверить ссылочное, кроме как в вебмастере?
Если у вас страница http://moysite.ru/404.php
отдаёт код ошибки 404, а не 200 то ничего запрещать не нужно, ПС сами выкинут страницу.
Самое интересное, что при проверке на код ответа в вебмастере гугла и яндекса, ответ одинаковый, что эта страница (http://moysite.ru/?bug=moysite.ru) - "Запрещено в файле robots.txt"
Однако в гугле эта страница прекрасно проиндексировалась и стала дублем главной, вот и пойми почему она появилась в индексе...
Спасибо всем, надеюсь что тема закрылась с хорошим исходом.
Если на сайте всё остальное работает нормально, значит всё сделали правильно.
Пока никаких плохих изменений в работе сайта я не обнаружил.
Еще один вопрос, а что делать с
выдачей Google:
Рассказать об ошибке - сайт moysite.ru - Мой сайт
moysite.ru/?bug=moysite.ru
Может надо еще запретить для индексирования страницу http://moysite.ru/?bug=moysite.ru
в robots.txt и удалить ее в вебмастере гугла или это уже лишнее, как на Ваш взгляд?
Заранее спасибо за ответ!
Движок правьте, если у вас на сайте ЧПУ везде, то можно сделать в начале кода такое:
if (preg_match('@(\?|&)@',$_SERVER["REQUEST_URI"])) {header("Location: /404.php");exit;}
И у вас нормально страница открывается по этому адресу?
У вас 100% и косяк в движке и в ссылках.
У меня движок на джумла и стоит родное ЧПУ, поставил Ваш код отдельно в начале index.php с оператором PHP (правильно ли я сделал?)
<?php
?>
Теперь при переходе по ссылке http://moysite.ru/?bug=moysite.ru открывается страница http://moysite.ru/404.php 404 - Компонент не найден!
По ходу это тот вариант, который и должен быть правильным.
Спасибо за помощь, надеюсь, что это правильный ответ!
Несложно найти ваш сайт в поиске. Ваш движок отдаёт страницу при обращении к ней без .html, так почему бы ПС не проиндексировать её? Наверняка кто-то сослался на эту страницу.
Латайте движок, вам прямая дорога к программистам.
Добавил строку в файл .htaccess
RewriteRule ^([^.]+)$ /$1.html [R=301,L]
Теперь перенаправляет все страницы без .html на страницы с .html
Может это выход?
Хорошо я понял и поставлю 301 redirekt, спасибо за совет, но все таки как комплексно на будущее запретить к индексации страницы без .html
Если знаете подскажите пожалуйста.
Это видимо косяк самой CMS системы и она позволяет открывать страницы как с адресом .html так и без, и на практике ПС может индексировать эти дубли.
Вместе
rel="canonical" - чтобы указать каноническую версию страницы
редирект - чтобы перенаправить на нее
По отдельности
rel="canonical" - не перенаправляет
редирект - не указывает каноническую версию.
🍾
Опять же повторюсь если мы одновременно поставим и rel="canonical" и 301 redirekt то по моему мнению робот просто не попадет на страницу /moda-shubi (без .html) и ставить там rel="canonical" не имеет смысла.
У меня все страницы можно открыть и с .html и без, и что мне на каждую страницу ставить 301 redirekt ?! , мне видится что это не совсем правильно, нужно какое-то универсальное решение, что бы дать понять роботу что нужно индексировать страницы только с .html