Что делать, если резко раздулся сайт?

12
БВ
На сайте с 01.12.2018
Offline
9
709

Есть сайт, на котором всегда полагал что находится около 1000-2000 страниц. А тут услышал про сервис labrika. Полез смотреть, добавил сайт, оплатил что-то вроде 100 рублей и поставил генерировать отчёт по сайту. Прошло время и эта фабрика говорит - чувак, у тебя там до жопы страниц, которых нет в sitemap. Вспомнил что да, действительно, кое-то забыл туда добавить. И вот сам того не понимая, создал трындец.

Фишка в том, что после регистрации каждого пользователя, на сайте появляется +5 страниц. Всегда. Т.е. ты зарегистрировался и сразу на сайте +5 страниц:

- твоя личная страница

- страница твоих постов

- страница твоих комментариев

- страница твоих избранных постов

- страница твоих избранных комментариев

Т.е. это пять отдельных URL. И вот этих страниц не было в sitemap, т.е. не указывал их наличие. Окей, добавил чтобы в sitemap появлялись подобные ссылки. А когда добавил, вспомнил, что на сайте с учётом зарегистрированных спамеров, гостей, а также живых пользователей, получается около 6000 человек. Т.е. это +30000 страниц (1 пользователь - 5 страниц).

Теперь странная картина. На сайте, полезными наверное около 1000 страниц, а ещё 30000 бесполезных. И что теперь делать? И гугл, и Яндекс уже в курсе, что на сайте обновился sitemap.

Может удалить из sitemap?

mr_baraban
На сайте с 25.10.2010
Offline
181
#1

Зачем никому неизвестная labrika, когда есть проверенные программы типа Screaming Frog.

А по теме - необходимо закрыть все страницы профилей от индексации в robots.txt

БВ
На сайте с 01.12.2018
Offline
9
#2
mr_baraban:
Зачем никому неизвестная labrika, когда есть проверенные программы типа Screaming Frog.

Не знаю, я не в теме. Увидел, решил попробовать. Но Frog не говорил кстати что там столько страниц нет в robots.

mr_baraban:
А по теме - необходимо закрыть все страницы профилей от индексации в robots.txt

Можете как-то аргументировать? Я не против, но хотелось бы понять причину.

И как отнесутся поисковики к тому, что в sitemap есть страницы, но они запрещены к индексации в robots?

G
На сайте с 21.11.2018
Offline
4
#3

бесполезные страницы закройте в файле robots.txt, чтобы они не индексировались

Регистрация в региональных каталогах вашего города (/ru/forum/1006778) - индивидуальный подход! Проконсультирую бесплатно по вашим проектам - пишите в ЛС!
Vladimir SEO
На сайте с 19.10.2011
Offline
1510
#4

тонкий крауд маркетинг )) лабрику пиарят уже второй месяц все

ᐈ Продвижение коммерческих сайтов https://kulinenko.com/ от Эксперта по продуктам Google https://support.google.com/profile/58734375
БВ
На сайте с 01.12.2018
Offline
9
#5
xVOVAx:
тонкий крауд маркетинг )) лабрику пиарят уже второй месяц все

Нет, она мне не понравилась и поддержка там молчит. Пользоваться больше не планирую.

Vladimir SEO
На сайте с 19.10.2011
Offline
1510
#6
БугиВуги:
Нет, она мне не понравилась и поддержка там молчит. Пользоваться больше не планирую.

а это уже черный пиар

БВ
На сайте с 01.12.2018
Offline
9
#7
xVOVAx:
а это уже черный пиар

Как бы там ни было, я пришёл за советом. Вроде написали что нужно в роботс добавить, но хотелось бы понять, не будет ли проблемой что в sitemap много страниц, которые потом перекрываются robots'

---------- Добавлено 08.01.2019 в 15:30 ----------

А и тогда логичный вопрос - а зачем тогда добавлять в sitemap то, что потом блокируем в robots? Может и в sitemap не надо ссылок этих иметь?

Vladimir SEO
На сайте с 19.10.2011
Offline
1510
#8
БугиВуги:
Как бы там ни было, я пришёл за советом. Вроде написали что нужно в роботс добавить, но хотелось бы понять, не будет ли проблемой что в sitemap много страниц, которые потом перекрываются robots'

---------- Добавлено 08.01.2019 в 15:30 ----------

А и тогда логичный вопрос - а зачем тогда добавлять в sitemap то, что потом блокируем в robots? Может и в sitemap не надо ссылок этих иметь?

так а вы не добавляйте и на страницах метатег ноиндекс сделайте , в роботс можете не добавлять

Lazy Badger
На сайте с 14.06.2017
Offline
228
#9

1. Лабрика - почти нормальный инструмент, если руки растут из плечЪ (там есть свои гитики, но это отдельная песня)

2. Страницы, которые по какой-либо причине не должны попадать в индекс ПС, должны а) отсутствовать в sitemap б) быть закрыты от индексации в robots

БугиВуги:
И что теперь делать?

А вот теперь можно начинать наконец думать - что имеем, что хотим иметь, как желаемого достигнуть.

Подсказка - на сайте не бывает "бесполезных страниц", бывают только бесполезные "мамкины вебмастера"

Производство жести методом непрерывного отжига
bridal777
На сайте с 06.11.2008
Offline
244
#10

по идее у вас в нормальном раскладе должен был сохраниться старый сайтмап - я бы на вашем месте его перезалил. И закрыл от индексации мусор с ваших профилей.

Качественный push трафик по самым лучшим ценам от прямых источников! Успей купить POP трафик от 0.05$ CPM до конца февраля!( https://realpush.net )
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий