Смотрите в html код страницы - то что видите там, то и индексируется ПС.
Продаем янтарные изделия: сувениры, картины, украшения, гербы и т.п. из цельного янтаря и янтарной крошки. Но по принципу - только посмотреть, далее общение, заказ по телефону.
www.baltamber.ru
Школы - слетел сайт на 7 позиций
Украшения - на месте
Регионы - на месте
Строительство - на месте
Сам просто вчитайся в то, что писал:
Это раз... во вторых - раз старые url никуда не денутся, то и никакой проблемы это не будет создавать ни для ссылочной массы внутряковой, ни для поисковиков...
Блин... обсуждаете сами не знаете что... В принципе работы слова ЧПУ разберитесь и поймете, что все старые ссылки "останутся" ;)
Поизучайте немного curl_setopt. В частности, чтобы сильно не лазить в мануалах цитирую:
"CURLOPT_RETURNTRANSFER: При установке этого параметра в ненулевое значение CURL будет возвращать результат, а не выводить его."
Я написал код опробовав его, а не в слепую. Могли бы попробовать, прежде чем писать :)
Я бы сделал по-другому... с использованием xml
$host="vkontakte.ru"; $reqst='<?xml version="1.0" encoding="windows-1251"?> <request> <query>host="'.$host.'"</query> <groupings> <groupby attr="d" mode="deep" groups-on-page="10" docs-in-group="1" /> </groupings> </request>'; $ch = curl_init("http://xmlsearch.yandex.ru/xmlsearch/"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $reqst); $xml=curl_exec($ch); preg_match("|<doccount>(.*)</doccount>|",$xml,$count); echo $count[1]; curl_close($ch);
"host="ИМЯ ХОСТА"" в xml и парсите сколько угодно с учетом ограничения запросов
Купил ключ у ТС на allsub за 10 минут, спасибо!
Гугл поддерживает: "Компания Google придерживается протокола Sitemap версии 0.9, определенного на сайте sitemaps.org/ru/" и Яндекс: "Яндекс поддерживает два формата файлов sitemap: XML; текстовый файл. Описание форматов дано на сайте http://sitemaps.org/." Т.е. оба версию 0.9