- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайт, на котором всегда полагал что находится около 1000-2000 страниц. А тут услышал про сервис labrika. Полез смотреть, добавил сайт, оплатил что-то вроде 100 рублей и поставил генерировать отчёт по сайту. Прошло время и эта фабрика говорит - чувак, у тебя там до жопы страниц, которых нет в sitemap. Вспомнил что да, действительно, кое-то забыл туда добавить. И вот сам того не понимая, создал трындец.
Фишка в том, что после регистрации каждого пользователя, на сайте появляется +5 страниц. Всегда. Т.е. ты зарегистрировался и сразу на сайте +5 страниц:
- твоя личная страница
- страница твоих постов
- страница твоих комментариев
- страница твоих избранных постов
- страница твоих избранных комментариев
Т.е. это пять отдельных URL. И вот этих страниц не было в sitemap, т.е. не указывал их наличие. Окей, добавил чтобы в sitemap появлялись подобные ссылки. А когда добавил, вспомнил, что на сайте с учётом зарегистрированных спамеров, гостей, а также живых пользователей, получается около 6000 человек. Т.е. это +30000 страниц (1 пользователь - 5 страниц).
Теперь странная картина. На сайте, полезными наверное около 1000 страниц, а ещё 30000 бесполезных. И что теперь делать? И гугл, и Яндекс уже в курсе, что на сайте обновился sitemap.
Может удалить из sitemap?
Зачем никому неизвестная labrika, когда есть проверенные программы типа Screaming Frog.
А по теме - необходимо закрыть все страницы профилей от индексации в robots.txt
Зачем никому неизвестная labrika, когда есть проверенные программы типа Screaming Frog.
Не знаю, я не в теме. Увидел, решил попробовать. Но Frog не говорил кстати что там столько страниц нет в robots.
А по теме - необходимо закрыть все страницы профилей от индексации в robots.txt
Можете как-то аргументировать? Я не против, но хотелось бы понять причину.
И как отнесутся поисковики к тому, что в sitemap есть страницы, но они запрещены к индексации в robots?
бесполезные страницы закройте в файле robots.txt, чтобы они не индексировались
тонкий крауд маркетинг )) лабрику пиарят уже второй месяц все
тонкий крауд маркетинг )) лабрику пиарят уже второй месяц все
Нет, она мне не понравилась и поддержка там молчит. Пользоваться больше не планирую.
Нет, она мне не понравилась и поддержка там молчит. Пользоваться больше не планирую.
а это уже черный пиар
а это уже черный пиар
Как бы там ни было, я пришёл за советом. Вроде написали что нужно в роботс добавить, но хотелось бы понять, не будет ли проблемой что в sitemap много страниц, которые потом перекрываются robots'
---------- Добавлено 08.01.2019 в 15:30 ----------
А и тогда логичный вопрос - а зачем тогда добавлять в sitemap то, что потом блокируем в robots? Может и в sitemap не надо ссылок этих иметь?
Как бы там ни было, я пришёл за советом. Вроде написали что нужно в роботс добавить, но хотелось бы понять, не будет ли проблемой что в sitemap много страниц, которые потом перекрываются robots'
---------- Добавлено 08.01.2019 в 15:30 ----------
А и тогда логичный вопрос - а зачем тогда добавлять в sitemap то, что потом блокируем в robots? Может и в sitemap не надо ссылок этих иметь?
так а вы не добавляйте и на страницах метатег ноиндекс сделайте , в роботс можете не добавлять
1. Лабрика - почти нормальный инструмент, если руки растут из плечЪ (там есть свои гитики, но это отдельная песня)
2. Страницы, которые по какой-либо причине не должны попадать в индекс ПС, должны а) отсутствовать в sitemap б) быть закрыты от индексации в robots
И что теперь делать?
А вот теперь можно начинать наконец думать - что имеем, что хотим иметь, как желаемого достигнуть.
Подсказка - на сайте не бывает "бесполезных страниц", бывают только бесполезные "мамкины вебмастера"
по идее у вас в нормальном раскладе должен был сохраниться старый сайтмап - я бы на вашем месте его перезалил. И закрыл от индексации мусор с ваших профилей.