Mister_Black

Не обрабатываются файлы с названиями только цифрами, типа 1.xml, 2.xml, 10.xml и тд, хотя в спецификации это нигде не указано, а например если назвать map1.xml или part1.xml, sitemap1.xml так обрабатывается.
Я сначала создал папку sitemap, чтобы не захламлять большим количеством файлов корневую директорию, а в неё добавлял уже файлы с названиями 1.xml-62.xml ни один из них не обрабатывался, кстати даже bing на такие файлы ругался, мол ошибка и всё тут.

Обманул систему, так как sitemap.xml уже был добавлен и обработан гуглом, я просто добавил в него список карт, сделав его индексным, таким образом гугл его принял, а с названиями sitemapindex, sitemap-index, sitemap_index, indexsitemap и т.д, ни в какую не хотел принимать ))

Сделал индексный файл sitemapindex.xml, Гугл его не принимает "Не удалось обработать файл Sitemap", добавил даже charset=utf8 в заголовок ответа, не помогло, видел что проблема массовая, кому то помогает смена имени файлов сайтмап, кто то делает в txt формате.

sitemap.xml.gz обновляется.
sitemap.xml НЕ обновляется!

Да похоже максимум гугл может обработать 2000 ссылок в сайтмапе, сейчас ради интереса сделал на 3000, обработать не может, хотя тот же Bing спокойно кушает мапы, по 45000 ссылок, в общем какие то непонятки с гуглом, похоже сильно сократили мощности для обработки sitemap, буду думать как сделать такой большой индекс, придётся разбивать максимум по 2000 ссылок в одном файле.

В том то и дело, даже одну карту не ест, карта не индексная, обычная, на 10к ссылок уже не ест.

Сделал на 2000 ссылок, скушал сразу и обработал, почему тогда пишут, что ограничение 50000 урл, когда по факту не обрабатывает даже 10000

А чем разбить большой сайтмап по 1000 ссылок, есть какие то способы, слышал что notepad++ как то может это делать, но пока не нашёл инструкции, у меня скрипт может либо большой сайтмап сделать, либо маленький, но разбить большой сайтмап на части не может. А вобще на сайте более 100к постов.

Я блокирую, через robots.txt таким образом, пока помогает

User-agent: SemrushBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /

я к тому, на сколько это безопасно, писать пароль обычным сообщением, боту webmoney?