Это инструкция, которая определённое время может игнорироваться. Недавний эксперимент - полный спрос индексации Disallow: / - три недели сайт видел в индексе, более того, прибавлял в индексе те страницы, которые были дополнительно указаны noindex, nofollow.
И только после принудительного переобхода страницы начали исключаться из индекса.
Я - делаю, и многие мои коллеги делают. Определяют порядок приоритетности и делают.
Кол-во - это не причина не делать. Кол-во - это условиe для определения порядка обработки.
Стоит это делать вручную с самостоятельно выстроенной структурой. Ни один сервис не учитывает специфику и нюансы бизнеса, которые необходимо изучать на уровне потребительских интентов.
Когда вы доверяете сервису, то вы берете на себя все возможные ошибки и неудачи в структурной сегментации.
Потому что у Яндекса свои приоритеты в индексации и инструкции Disallow: /адрес страницы, а также noindex, nofollow всего лишь рекомендация.
Для оптимизации индексации нужно:
а) соблюдать корректные данные в <lastmod> в xml карте сайте
б) вручную заниматься вопросами переиндексации сайта (добавлять страницы на переобход поисковым роботом)
Именно так, потому что приоритет добавления новых страниц выше, чем переобход старых менее приоритетных.
Пока не обновятся данные, уведомление так и будет висеть.
Они могут хоть пол года быть закрыты и так до конца и не обновлены. Как я написал выше, нужно самостоятельно стимулировать этот процесс.
Не знаю насчёт конкретики региональных порталов (мне в общем-то это и не интересно), но головной работает 100%.
Люди в этом бизнесе c 2005-го года, а с 2009-го они официальное региональное СМИ https://vorle.ru/redaktciia/ cо своим редакторским, менеджерским и IT штатом.
Всё там есть, вы похоже даже не смотрели. Там полноценный городской портал.
Сервис чего?
Вы хотите сделать агрегатор доставки еды и сотрудничать с ресторанами? Зачем вам тогда городского портал?
Ясно. Вы даже не представляете на какой объём работы замахиваетесь и думаете, что осилите всё органическим трафиком.
Уверен, в лучшем случае вы получите немного опыта, когда всё забуксует на этапе первых шагов в реализации.
О смелых планах и сайтах для людей можно свободно и инициативно рассказывать на форумах, но даже если вы худо-бедно осилите функционал, то поймете, что даже несколько сот человек в день с общей семантики городского портала - это ничего для того, чтобы монетизировать его в реалиях регионального бизнеса.
Это как раз тот случай, когда без всяких отзывов человек сходу демонстрирует владение копирайтингом.
TC не знаю, услуги не заказывал и не собираюсь, но тоже обратил внимание на заголовок и открыл тему, - открыл и убедился, что это не случайность.
Автору - успехов, уверен, в вас есть потенциал.
Объясняю ситуацию.
Имеем сайт-сервис для города, где указана необходимая информация о городе. Справочник, объявления, форум, афиша, новости и т.д.
Ситуация понятна.
Вопрос.
1. Ссылочная масса и ip для поисковика будут подозрительными?
Сама по себе? - нет.
9 лет назад работал в региональном СМИ, где был целый набор информационно-справочных порталов с единым дизайном и все это хранилось на одном сервере. Какое-то время занимался продвижения отдельных разделов этих сайтов.
Именно так и было. Новостями и контентом занимался редакторский отдел.
Нормально. Без подозрений.
Да полно таких. Спустя 9 лет на прошлой работе остался только один сайт (как минимум других уже не вижу), но и тогда, и сейчас был конкурент, который имел аналогичные сайты:
https://vorle.ru/
http://vtule.ru/
https://vbryanske.com/
http://vvoronezhe.ru/
Смотрите, изучайте..
Советов особо нет, кроме того, что если на базе порталов не будут развиваться свои СМИ с последующим рекламным отделом и привлечение рекламодателей (что само по себе очень непросто), то все эти порталы по сути будут игрушками пока не надоест, а рано или поздно всё равно надоест, потому что когда начнут масштабироваться информационные задачи по ним, то мы поймете, что годами будете вынуждены вкладываться в информационные активы, чтобы как минимум частично их монетизировать.
Заработать какие-то внятные деньги без оффлайн рекламодателей вы не сможете, чаще всего такие сайты после стадии увядшего азарата "замутить порталы и собрать много трафика" используются как ссылочные саттелиты или продаются. Вы далеко не первый желающий попробовать свои силы в этой теме.
Мусора тоже хватает, но задача SEO оптимизатора как раз в том, чтобы выполнить рабочую сортировку, определить актуальные рабочие данные и сформировать приоритеты по сделанным выборкам.
Это те запросы, на которые нужно обратить внимание для потенциального увеличения трафика.
Рекомендуются Яндексом для работы в системе контекстной рекламы и для увеличения объёма поискового трафика.
Странно, что у вас спецсимволы передаются как данные. Спецсимволы - это элемент оформления (если я правильно понял заявленный пример).
Страницы фильтров должны формироваться через параметры, в параметры - заносить значение выбранных пользовательских данных. Не используйте в URL мусор. Должно быть примерно так,
/list?filter=одно_значение%дополнительное_значение%еще_значение
Словом, кодов элементов оформления в URL быть не должно, иначе оформление сменили - URL не совпадают, в результаты будут многочисленные дубли.
Начинать смотреть надо с правил обхода краулером сайта (они могут игнорировать некоторые данные), например, учитывать/не учитывать nofollow, noindex, а также правила robots.txt
Используйте альтернативные краулеры (и сравните данные).
Это может быть всего лишь частным случаем проверки краулера, которые также не всегда корректны.
Проверьте данные карточки, нет ли у них запрета на индексацию в мета тегах и не попадают ли они в правила Disallow в robots.txt
Если в листингах категорий есть запреты на индексацию и переобход страниц пагинации, проблемные товары выводятся только там, то ссылки из перечней пагинаций могут игнорироваться и таким образом краулер не видит рабочих ссылок на часть ваших товаров.
