Какой из меня дорвейщик?

Ну а чего же ты не выкладываешь тут свой свеженаписанный дорген бесплатно?

З.Ы. Мои глазки читая твой выпендривания с шрифтом, кричат рукам, - Долой репу!

программисты, такие программисты. сделать их статическими религия не позволяет? или ты собрался по одному дору в месяц делать?

что значит, "белый экран"? какой ответ сервера - 200 или 404? и почему ты её исключил?

Злой ты! 🤣

---------- Добавлено 24.03.2016 в 01:44 ----------

Так динамический же дор.

---------- Добавлено 24.03.2016 в 01:50 ----------

А вот тут я кстати не понял, что-то слова: "автоматический" парсер и "список" не вяжутся между собой.

и? делаем доры по принципу американского автопрома - не хватает мощности, добавим лишний объём в цилиндрах?

---------- Добавлено 24.03.2016 в 01:51 ----------

GamePost, ещё хотел спросить.

сколько раз ключевая фраза в тексте упоминается?

Только что взял рандомную страницу из sitemap, 5 раз, потом ещё одну страницу - 1 раз.

Ключи хранятся в базе данных, парсер проходит их по "списку" (таблице), обрабатывая и добавляя уникальные ключи в БД. Потом к следующему ключу и проделывает с ним ту же самую работу.

Ну сайтмап же не обязательно на 50к ссылок делать до фрагментации. По моему, генерировать его на лету пару раз в сутки, проще, чем переписывать статику при добавлении каждой статьи.

а зачем тогда вот это?

полагаю, дорген парсит сниппеты, так?

Sitemap генерируется при переходе на /sitemap.xml (написан php-скрипт, который очень быстро генерирует TXT файлы сайтмапов (по 35к url на каждый) и выводит их разрешенными методами гугла)

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <sitemap>
  <loc>http://site.ru/sitemaps/sitemap-0.txt</loc>
 </sitemap>
 <sitemap>
  <loc>http://site.ru/sitemaps/sitemap-1.txt</loc>
 </sitemap>
</sitemapindex>

Да, можно и так сказать.

ну и к чему, в таком случае, прямое вхождение ключа? на дворе не 2000-е, а 2016

Что значит "разрешенные методы гугла"? Это как - сущность ключей? 🍿