Думаю, при 20млн строк лучше разбить sqlite базу на 40 файлов по 500к строк или еще меньше. А при работе скрипта загружать базу в :memory: и сделать ее shared для всех процессов. И random для айдишников лучше делать предварительно средствами php, типа mt_rand(1, MAX_ID). А потом только уже делать запрос в базу с готовыми id "SELECT id, text FROM text WHERE id IN (1,34,56,78)".
forexjoker, Если уж ты на такой разговор вышел, то потрудись доказать, что у меня есть хотя бы один сайт на чужом контенте )) Я лично вообще не паршу никакой контент. Это прошлый век :D Только школота сейчас парсит сниппеты и чужой текст. Это работа ради работы, гуглу на потеху. Проще писать свой, спинить его, или генерить бессмысленные слова и вкраплять ключевики - и все это на своих доменах. А если не докажешь, то твой товарищ объяснит, как это называется 🤣
zmicier, Стучать на чужие доры это так подло 🤣 Как только у кого-то что-то упало - так сразу доры виноваты и на серче 100 страниц обсуждения. Но, ведь они умерли давно и у гугла совершенные алгоритмы 😂 При этом, например, прямо сейчас можно создать прямо на домене google.com в папке дор по виагре или чему еще несколькими способами. Как только вы поймете, что гуглу плевать на ваши рерайченные водно-водные тексты в масле масляном - то сразу станет лучше жить. Получайте наслаждение от того, что люди в 2019 году дорами с ключами в столбик обходят ваши сайты.
Unlock, Не мешай верующим накачивать новый миф. Им еще заказчиков надо как-то охмурять по этой теме, приучать к новым расходам :D
Помню, сразу лет 15 назад было понятие "раскрутка сайта", потом эти белые мошенники придумали "продвижение сайта" - типа более бахато и элитно звучит.
Потом "семантическое ядро" - про которое никто не слышал в мире.
Потом "комплексный Интернет-маркетинг". Потом "поведенческие факторы" - которые в гугле не учитывают. Теперь вот "пьорформенс маркетинг" и какой-то YML :D
Кстати, давеча сотрудник гугла поводил по губам всем этим верующим и заявил, что никаких поведенческих они не учитывают на сайте, и что Ренд Фишкин выдумывает чушь. Но, его, даже, не услышали. :)
Неужели они думают, что вот тот лысый дед и его зеленовласая подружка в роликах google webmasters хотят им всю правду рассказать? :D
Idonat, А ты точно дорвейщик? С твоих портянок можно статейники шикарные делать. Ты знаешь об этом? Перевести на немецкий или французский - и сайт по психологии готов :)
Для коротких статей в один абзац очень важно иметь уникальные title и h1. Если они будут уникальные и не шаблонные - все будет хорошо. Если шаблонные с большой одинаковой частью - много статей улетит в дополнительный индекс. А в google webmasters они будут в разделе Исключено.
SeVlad, Какие еще стандарты? 🤣 Кривые руки китайо-американских программистов плевали на стандарты. Вот тут хомячки уже море слез пролили, а с них издеваются, как с лохов
https://productforums.google.com/forum/#!topicsearchin/webmasters/sitemap$20pending%7Csort:date
Sitemap в txt формате это тоже, между прочим, стандарт - и рекомендация гугла как вариант карты сайта :)
SeVlad, Ты решил меня отправить на справку, почитать, что такое sitemap? Чудесно. Это в стиле этого форума 🤣 Почитаю.
Ты вообще в курсе, что разговор здесь идет о том, что в панели google webmasters у людей выдает МЕСЯЦАМИ ошибку на sitemap.xml, созданные по всем стандартам? Даже по примеру google из справки. Даже скопированные с сайтов, где все работает :)
Чисто ради смеха... "Его поддерживают Google, Yahoo! и Майкрософт." - тут ничего нет про поделки развивающихся стран :)
Sitealert, Вам шашечки или ехать? Когда пофиксят баг в гугле и пропадет pending - бедете там вставлять все, что хотите :) Можно же одновременно и xml карту добавить и txt. Тындексом не пользуюсь много лет, без понятия.
На своем сайте создать, и добавить его в google webmasters в разделе sitemaps. Google понимает карты сайта в txt формате обычным списком. Он сразу определит ссылки и начнет индексировать. Никакого pending не будет :)
