RewriteCond %{QUERY_STRING} ^id=([0-9]+)$
RewriteRule ^page.php$ http://www.raz.ru/pg.php?d=%1 [R=301,L]
Побороть что? Вы попробуйте для начала сформулировать нормально вопрос, и увидите что половина ответа в нем уже содержится. Там же написано, дубли страниц с одинаковым каноническим адресом.
Если есть руки и голова то покажет http://webmaster.yandex.ru/robots.xml?hostname=site.ru&robotstxt=User-agent%3A+%2A%0D%0ADisallow%3A+%2Farchive%2F2014%2F%0D%0ADisallow%3A+%2F2014%2F%0D%0A&urls=%2F2014%2F07
Браузер ничего не подрисовывает. Либо у вас редирект, либо они так и прописаны со слешем.
А самому трудно догадаться, обязательно чтобы ткнули носом? А если не ткнули, обязательно ныть почему этого не сделали?
У яндекса есть инструмент для анализа роботса, никто вам не мешает им воспользоваться http://webmaster.yandex.ru/robots.xml
Вам же выше Дикий пионер объяснил на пальцев почему так работает, советую перечитать его пост в каждый день минимум 5 раз.
Обычная "пост форма" это обычная "пост форма", где вы передаете параметры, скрипт вас авторизует и вы получаете доступ на нужную страницы, при том доступ на этой странице ограничивается тем, что в запрашиваем скрипте проверяется есть право или нет. В случае бейсик авторизации защита стоит на уровне сервера к целой папке, вы авторизировались при помощью курла и получили код вашей странице. При рендеринге в браузере, браузер запрашивает файлы из этой папке где у вас авторизации естественно нету (ее получил курл а не браузер). Надеюсь теперь понятно природа "приколов".
luckydan, вам же написали - авторизация происходит в курле, а запрос авторизации в браузере. Если появляется форма, значит оттуда что-то запрашивается. header Content-type: text/plain; вам в помощь.
А нахрена вообще что-то должно показывать?.. Вы пишите парсер, а не страницу показываете с чужого сайта. Если уж так хочется посмотреть на результат запроса юзайте htmlspecialchars или удалите из кода все обращения к этому сайту.
Символы лишние http://ru.wikipedia.org/wiki/Мнемоники_в_HTML
"Не срабатывает".. а вы блок с id 'tour_search_module' добавили чтобы он сработал?
preg_match('/^[^а-я]+/i', $line, $matches);
print_r($matches);
Минус - зависимость от кодировки
