Matlab додав новий тип даних в новій версії matlab r2018b

Matlab додав новий тип даних в новій версії matlab r2016b

Надмірні масиви можуть використовуватися в різних формах: в одній системі працює додаток, яке має доступ до великих обсягів даних (які не будуть встановлюватися в пам'ять хоста) системи Hadoop з багатьма процесорами (мають доступ до HDFS). Той же самий код буде працювати на цих і інших конфігураціях з MATLAB, керуючи розподілом даних і програм. Це значно спрощує роботу розробникам, дозволяючи їм зосередитися на алгоритмі, а не управлінням даними.

Надмірні масиви являють собою дані колоноподібні типу, такі як таблиці баз даних і електронні таблиці. Підтримка включає в себе математичні та статистичні операції, а також операції маніпулювання даними. Mathworks надає алгоритми статистичного і машинного навчання, а також tall arrays підтримують паралельні обчислювальні інструменти.

Використання tall arrays з кластером Hadoop дозволяє системі запускати додаток в кластері, а не передавати дані в ПК. Це забезпечує продуктивність обробки і зберігання значно більше, ніж навіть багатоядерний сервер.

Налагодження і профілювання на кластері Hadoop є складним, так що розробники, швидше за все, будуть працювати на локальному комп'ютері для розробки алгоритмів, які використовують надмірні масиви. Алгоритми потім можуть бути перенесені в кластер, якщо існує необхідність в дуже великих обсягах даних і обчислювальних потужностях. ПК забезпечує інтерактивну налагодження, трасування і профілювання.

Тип даних надмірних масивів підтримується пакувальної системою MATLAB, яка дозволяє розробнику вільно застосовувати цей тип даних, як і для додатків, розроблених з використанням мови С. Це вимагає трохи більше конфігурації для обробки різних джерел даних. Пакет може бути налаштований для роботи з будь-якими джерелами даних, а розробник повинен працювати з використанням інтерактивної версії MATLAB.

Система MATLAB Coder, яка генерує код C для вбудованих додатків, також підтримує надмірні масиви. Це дозволяє включати підтримку у вбудовуються додатки.

Розробникам, що використовують API MATLAB для Spark роботи на рівні Spark API, варто знати, що вона включає в себе такі функції як flatMap і mapParitions в порівнянні з надмірними масивами, які використовують операції над масивами MATLAB.

Схожі статті