Как спарсить url и title всех страниц сайта?

Netpeak Spider

Content Downloader-прога платная но она того стоит. Для доров отличная штука

Screaming Frog SEO Spider

Проверить, вдруг Sitemap.xml присутствует.

Ксену пройти все страницы сайта, а потом php скриптом распарсить их на тайтлы. Бесплатно, сердито и довольно быстро.

Я за него. Приятный интерфейс, мощный функционал, широкая статистика. Лежит на торентах.

Xenu какой то деревянный на мой взгляд.

Для решения этой задачи вы можете воспользоваться следующими ресурсами:

http://backlinks-checker.dimax.biz/tools/parser_title_description.php

https://netpeaksoftware.com/spider

https://www.screamingfrog.co.uk/seo-spider/

ini_set( "display_errors" , 1 );



error_reporting( E_ALL / ^ E_DEPRECATED ^ E_NOTICE );



set_time_limit(  0 );



ini_set( "memory_limit" , "1512M" );



header( "Content-Type: text/plain;" );



/**

 * site URL

 */

$site_url = "site.com";

$site_url = "http://" . $site_url;



/**

 * first request to site

 */

$main_page_content = file_get_contents( $site_url );



if ( strlen( $main_page_content ) != 0 && !empty( $main_page_content ) )

{

      $aregxp =  "<a.+?href\s*?=['"](\S+?)['"] [^>]>";



       preg_match_all( $aregxp , $main_page_content , $page_self_urls_conds  );



       $filtrated = array( );

       foreach ( $page_self_urls_conds  as $url )

       {

              if ( stristr( $url , $site_url ) OR $url[0] == "/"  ) 

              {

                    $filtrated[ ] = $url;

              }

       }



       $max_requests_count = 1000;



       $used_urls = array( );



       $filtrated = array_unique( $filtrated );



       while ( count( $filtrated ) ||  $max_requests_count != 0 )

       {

              $max_requests_count--;

              $page_content = file_get_contents( $site_url );

              if ( strlen( $main_page_content ) != 0 && !empty( $main_page_content ) )

              {

                    preg_match_all( $aregxp , $main_page_content , $page_self_urls_conds  );



                    foreach ( $page_self_urls_conds  as $url )

                    {

                          if ( ( stristr( $url , $site_url ) OR $url[0] == "/"  )  AND !in_arry( $url , $filtrated )  AND !in_array( $url , $used_urls )  )

                          {

                                $filtrated[ ] = $url;

                          }

                    }

               }



               $used_urls[ ] = $site_url;



               $result = implode( "\r\n" , array_map("trim" , $filtrated ) );

               $fp = fopen( "result.txt" , "w" );

               fwrite( $fp , $result );

               fclose( $fp );

               unset( $fp , $result );

        }



}



exit( 0 );

+ дебаг, если нужен, так как набирал прям в окне сообщения.

***93;(\S+?)***91 что это такое в скрипте не работает скрипт.

Вот давно скрипт валяется. https://yadi.sk/d/mwgkr--V3MHryU Парсит тайтлы с sitemap.xml.

В f1 - урл карты сайта. В f2 куда сохранять.