Як Спарс швидко багато сторінок в php

  • PHP
  • парсинг
  • Веб розробка

Є один сайт, на якому є багато сторінок, з яких мені треба взяти 1 лише блок з інформацією. Таких сторінок приблизно під 10 000. Анкети вони йдуть впорядковано, не в розкид.

function curlIt ($ url) $ ch = curl_init ($ url);
curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt ($ ch, CURLOPT_FOLLOWLOCATION, true);

$ Res = curl_exec ($ ch);
curl_close ($ ch);
return $ res;
>

Це все спрацьовує, але коли виводимо 50 результатів, і при цьому все одно чекати доводиться кілька хвилин. Спробував вивести 500 результатів, по закінченню 10 хвилин так і не дочекався результату.
Як це зробити правильно, і щоб вийшло швидше?

Як Спарс швидко багато сторінок в php

не можна просто так взяти і загугли помилку

Ну по-перше, multi curl в гугл.
По-друге, якщо composer це не страшне слово, то сюди.
По-третє, швидше за все більшу частину часу віджирали не саме запит, а розбір DOM через phpquery. Краще таки використовувати щось сучасніше і швидше за все швидше.

По третьому пункту: сучасніше? )) Варто було б заглядати всередину іноді. Там все той же древній DomDocument і горезвісний xpath

Схожі статті