Встала наступне завдання. Пропарсіть якийсь сайт. Парсити необхідно не тільки текст. але і фото. В ході написання зіткнувся з наступною проблемою. фото на сайті який я намагаюся пропарсіть лежать в різних папках (а мені необхідно все складати в одну), тобто можуть мати однакові імена. По мимо цього файли можуть повторюватися. тобто під час парсинга ми натикаємося на один і той же файл. Не хотілося б давати різні імена для одних і тих же файлів. після того як фото збережено у нас на сервері. необхідно зберегти ім'я цього файлу в файл.
На даний момент я намагаюся звірити розміри файлів з однаковими іменами. Якщо розмір не збігається то зберігаємо файл з іншим ім'ям. якщо ж збігаються. то все ОК ні чого не робимо. Все б нічого але. як дізнатися скачати чи файл повністю щоб можна було звіряти його розмір з розміром файлна на моєму сервері. Фото качаю за допомогою cURL.
Моторошно загорнув. але сподіваюся що хоч хтось зрозуміє що мені треба
Для більшого розуміння висилаю Код функції закачування файлу і перевірка розмірів
в тому то і справа що не помилки. він просто звіряє розміри. і якщо файл не докачати. то при звірці розмірів файлів. виходить що файли різного розміру тобто за логікою це різні файли, а насправді файли однакові
Хто сказав що не помилки? Навіть якщо картинки віддаються скриптом і не посилається Content-length, то цілком ймовірно, що помилка буде, тому що є ще chunked-encoding. При "неотриманні" чергового чанка cURL підвисне, а потім відвалиться з таймаут з помилкою.
Або я не правильно пояснив. або ти не зовсім зрозумів. Справа в тому що Курлов отримує картинку. але ще не повністю записавши її в файл на моєму сервері. скрипт продовжує роботу і намагається звірити розміри. Що природно дає неправильний результат