alexverem

Рейтинг
220
Регистрация
12.10.2011
LazyBadger:
1. Если писать "не подскажите" (повелительное наклонение), то никто подсказывать и не будет, как запрошено


А вот и нет, подсказали ) ну а так спасибо, буду знать.

LazyBadger:



2. Значит этот текст именно то, что написано: "Гугл в настоящий момент не имеет в индексе страниц сайта, с которых есть ссылки на рассматриваемую страницу" (и найдена страница была в sitemap)

Ссылка уже год как на сайте есть, что гуглу не нравится, не понятно

onep:

$url = 'https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_daily_reports/03-08-2020.csv';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, false);
$results = curl_exec ($ch);
curl_close($ch);
echo $results;

Не работает (

---------- Добавлено 10.03.2020 в 11:59 ----------

vandamme:
у тебя вообще курл стоит?

http страницы CURL читает нормально, одну даже страницу https прочитал (правда я поменял на http), а вот https вообще не получается.. что делать то? )

onep:
Даже в симуляторе работает http://phpfiddle.org/

Ну вот напр, вроде официально можно брать инфу о коронавирусе

http://github.com/CSSEGISandData/COVID-19/blob/master/csse_covid_19_data/csse_covid_19_daily_reports/03-08-2020.csv

У меня код ничего не выдает

Xubart:
Внимательно проанализировал метрику.

Увеличилось количество заходов с отказами с IP Мегафона, при этом это их 1й заход НЕ с поиска и НЕ по ссылке - тоже боты. Вот с этими сложнее, т.к. просто по ip бахать их нельзя.

1) Не подскажите где посмотреть в метрике статистику отказов по IP и как вы понимаете что это мегафон?

2) У меня без https сайт, насколько я знаю мобильные операторы типа мегафона вставляют рекламу, может больше стали вставлять?

Xubart:
Боты в метрике отсекаются?
Их стало заметно больше как раз с конца февраля.

-Нужно какие-то настройки сделать?

- Боты это поисковые яндекс и гугл?

onep:
Да ладно ) А если так:

$url = '/;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_HEADER, false);
$results = curl_exec ($ch);
curl_close($ch);

$doc = new DOMDocument();
@$doc->loadHTML($results);
$xpath = new DomXPath($doc);
$elements = $xpath->query('.//tr/td');
foreach ($elements as $i=>$element) {
echo $xpath->query($element->getNodePath().'/div')->item(0)->nodeValue.'<br />';
}

Не работает )

ок спасибо посмотрю, мне вообще один раз в сутки инфу брать, не гружу сервер, а то тут люди беспокоятся )

skapunker:
защита от ботов стоит, вот и все

А можно зашифроваться под юзера? Вроде стоит мозилла и тп в хедере

Anarchist:
Потому что дешевле, наверное. Спросите у них :D

У гугла 1200руб за миллион знаков, у яндекса пока не нашел стоимость

---------- Добавлено 13.02.2020 в 19:05 ----------

а во "на объем переводимого текста - в размере до 1 000 000 символов в сутки, но не более 10 000 000 символов месяц.", т.е. вроде немного бесплатно можно

Всего: 981