Большая карта сайта

12
JJwar
На сайте с 16.06.2009
Offline
147
1582

Доброго дня всем.

У заказчика сайт на несколько миллионов страниц.  Хочет карту сгенерить.

Есть ли какие то сервисы, чтобы сгенерировать такую карту сайта ? И  вообще , есть ли в этом смысл ?

По опыту как бы - за 15 лет практики - ни разу не увидел чтобы загрузка карты сайта в ЯВМ или консоль - дала какой то видимый результат.

Владимир Коток
На сайте с 04.12.2011
Offline
136
#1

Запастись парой тонн баксов и скормить сайт GPT, пусть читает и выводит карту сайта по частям. Потом склеить можно будет.

🟢 Сайт за 24 часа с готовым доменом и хостингом — от 100 руб/мес — 👍 https://best-master.su 🎄✨👌
alaev
На сайте с 18.11.2010
Offline
861
#2
Владимир Коток #:

Запастись парой тонн баксов и скормить сайт GPT, пусть читает и выводит карту сайта по частям. Потом склеить можно будет.

Screaming frog SEO spider url соберет бесплатно. А карту создать из большого количества маленьких файлов, чтобы сервак не укладывали боты.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
Ruschan
На сайте с 23.06.2011
Offline
124
#3
alaev #:

Screaming frog SEO spider url соберет бесплатно. А карту создать из большого количества маленьких файлов, чтобы сервак не укладывали боты.

Ну, это прям — классика👍

https://www.gkgefestconsult.ru/ekspertnye-stati/ - статьи о консалтинге в сфере строительного, проектного и изыскательного бизнеса (ГК Гефест Консалт).
Антоний Казанский
На сайте с 12.04.2007
Online
786
#4
JJwar :
У заказчика сайт на несколько миллионов страниц.  Хочет карту сгенерить.

А до этого сайта работал без карты? Сайт возрастной? Сколько лет?

Какой тип/формат сайта?


JJwar :
Есть ли какие то сервисы, чтобы сгенерировать такую карту сайта ?

C таким объёмом страниц я не уверен, что сервис справится, хотя среди тех, что делают платный анализ, такой объём страниц они поддерживают, а значит, думаю, смогут. 

Но карту нужно периодический обновлять и если это крупный посещаемый сайт со своим UGC контентом, то карту нужно обновлять ежесуточной, а значит делать это надо автоматический на стороне сервера.


JJwar :
И  вообще , есть ли в этом смысл ?

Смотря какой сайт. Если форум, то вряд ли. Если коммерция или крупный инфо проект, то - да.


JJwar :
По опыту как бы - за 15 лет практики - ни разу не увидел чтобы загрузка карты сайта в ЯВМ или консоль - дала какой то видимый результат.

Довольно странно от человека с 15-летным опытом слышать такой ответ.

Карта сайта - это не фактор ранжирования, это инструмент, поэтому будет странно называть, например, услышать фразу, "молоток даёт результат какой-то видимый результат в домашней хозяйстве". Сам по себе лежащий молоток ничего не выполняет и на какой-либо результат не влияет. Для результат нужен исполнитель, его воля и правильные навыки.

Вы хорошо понимаете назначение карты сайта? Понимаете, какие преимущества она даёт? 

Возможности настойки <lastmod> понимаете? Для сайта в миллион страниц это весьма актуально.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Mik Foxi
На сайте с 02.03.2011
Offline
1217
#5
сайт на голом html? если нет, то ничего не надо парсить, нужно в cms сделать карту сайта.
Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
Vladimir SEO
На сайте с 19.10.2011
Offline
2051
#6
JJwar :
У заказчика сайт на несколько миллионов страниц.  Хочет карту сгенерить.

тут вопрос как он этого до сих пор не сделал? пусть генерят кодеры это их работа

JJwar :
Есть ли какие то сервисы, чтобы сгенерировать такую карту сайта ? И  в

нема

JJwar :
И  вообще , есть ли в этом смысл ?

есть

JJwar :
По опыту как бы - за 15 лет практики - ни разу не увидел чтобы загрузка карты сайта в ЯВМ или консоль - дала какой то видимый результат.
ну если все страницы имеют пару уровней вложенности то результата не будет, а вот когда лямы страниц - это играет роль
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
W1
На сайте с 22.01.2021
Offline
306
#7
JJwar :
У заказчика сайт на несколько миллионов страниц.  Хочет карту сгенерить.

Либо средствами CMS, либо через написание специального скрипта. Но естественно, в этом случае карта должна состоять не из одного файла, а из десятков, навскидку.

Мой форум - https://webinfo.guru –Там я всегда на связи
Антоний Казанский
На сайте с 12.04.2007
Online
786
#8
в этом случае карта должна состоять не из одного файла, а из десятков, навскидку.

На всякий случай напомню ограничение по sitemap.xml,

источник

JJwar
На сайте с 16.06.2009
Offline
147
#9
alaev #:

Screaming frog SEO spider url соберет бесплатно. 

пробовал уже, зависает лягушка, не получается такую большую карту делать

JJwar
На сайте с 16.06.2009
Offline
147
#10
Антоний Казанский #:

А до этого сайта работал без карты? Сайт возрастной? Сколько лет?

Да, работает без карты. Сайт знкомств.  7 лет на плаву

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий