Кількісна міра інформації
Оскільки будь-яка система зв'язку призначена для передачі інформації, то виникає задача в оцінці кількості інформації в переданому повідомленні. Оцінити кількість інформації з точки зору її цінності для одержувача неможливо, т. К. Одне і теж повідомлення для різних одержувачів несе різну цінність, так, наприклад, інформація отримується при вивченні даного матеріалу для фахівця має вельми велику цінність.
Також для визначення кількості інформації використовуються дві залежності:
- лінійна виражає залежність кількості інформації в повідомленні від його довжини, т. е. наприклад, книга несе більше інформації, ніж одна її сторінка;
- Експоненціальна виражає залежність кількості інформації в повідомленні від можливих перестановок одних і тих же елементів цього повідомлення, так, наприклад, якщо джерело повідомлення має словниковий запас в 1000 слів і формує повідомлення довжиною 50 слів, то кількість можливих повідомлень дорівнюватиме 50 тисячі.
Щоб врахувати обидві цих залежності приймається логарифмічна шкала для оцінки кількості інформації. Виходячи з вище сказаного кількість інформації в повідомленні буде визначаться:
де I (ai) - кількість інформації в повідомленні ai;
P (ai) - імовірність появи повідомлення ai.
Вибір підстави логарифма визначає одиницю виміру кількості інформації. Для зручності в якості підстави в системах з двійковими кодами використовується підставу b = 2 і тоді інформація вимірюється в бітах - бінарних або довічних одиницях (від англійських слів binary digit). Таким чином, кількість інформації визначається як:
З цього виразу випливає, що один біт інформації це:
т. е. 1 біт? це кількість інформації, яке несе повідомлення з вероятностьюP (ai) = 0,5.
Термін біт використовується в обчислювальній і імпульсної техніки, оскільки там використовуються повідомлення формуються двома рівноімовірними символами 1 і 0.
Як випливає з виразу, кількість інформації не може бути негативним.
ентропія джерела
Більшість реальних джерел формує повідомлення з різною кількістю інформації, однак, при вирішенні практичних завдань необхідно знати середню кількість інформації припадає на одне повідомлення. Середня кількість інформації визначається як математичне сподівання кількості інформації в повідомленні.
де Ма - кількість можливих повідомлень джерела.
Величина Н (А) називається ентропією джерела і характеризує середню кількість інформації припадає на одне повідомлення.
Наведене вираз використовується для визначення ентропії джерел дискретних повідомлень. Для безперервних повідомлень а (t) ентропія теоретично прямує до нескінченності, т. К. Повідомлення може приймати нескінченне число значень, отже P (ai) ®0, а I (ai) ®. Однак якщо повідомлення піддати дискретизації і представити його кінцевим числом квантованих значень за рівнем L, то можна визначити середню кількість інформації в одному відліку (ентропію відліку):
де pi - ймовірність появи в квантованим повідомленні i-го рівня.
Lкв - кількість рівнів квантування.
Якщо здійснити граничний перехід спрямувавши L до нескінченності, то вийде величина, яка називається диференціальної ентропією.
Ентропія є об'єктивною інформаційною характеристикою джерела повідомлень. Вона завжди позитивна.
1 0 Ентропія дорівнює нулю, якщо одне повідомлення достовірно (P (ai) = 1), а інші не можливі.
2 0 Ентропія максимальна, коли всі повідомлення різновірогідні, і зростає зі збільшенням рівноймовірно повідомлень.
3 0 Ентропія має властивість адитивності, тобто. Е. Ентропії різних джерел можна складати.
надмірність джерела
Під надмірністю розуміють наявність в повідомленні «зайвих» елементів, т. Е. Елементів не несучих смислового навантаження (наприклад, сполучники, прийменники). Дані елементи можуть бути відновлені за рахунок статистичних взаємозв'язків між іншими елементами повідомлення. Наприклад, сполучники, прийменники і розділові знаки можна відновити, знаючи правила побудови речень. Таким чином:
надмірність - це міра скорочення повідомлення без втрати інформації, за рахунок статистичних взаємозв'язків між елементами повідомлення.
Кількісною мірою інформації є коефіцієнт надмірності:
де Н (А) - ентропія, обчислена на основі врахування статистичних характеристик повідомлень;
Hmax (A) - максимальна ентропія джерела, яка згідно з другим властивості дорівнює:
Hmax (A) = log2 Ma; біт / повід. (13)
Наявність надмірності при передачі повідомлень має свої позитивні і негативні сторони. Повідомлення, що володіє надмірності вимагає більшого часу передачі і, відповідно більшого часу заняття каналу. Однак підвищення надмірності призводить до збільшення завадостійкості повідомлення. Вона сприяє виявленню та виправленню помилок в прийнятих повідомленнях. Це пов'язано з тим, що для формування повідомлення використовуються не всі можливі комбінації символів, а лише певні (дозволені), які заносяться в спеціальні довідники (словники). Після отримання повідомлення з елементами (словами) яких немає в довідниках говорить про наявність помилки і помилковий елемент може бути замінений схожим за написанням або відповідним за змістом. Всі мови мають надмірністю рівній Сі »0,5.
продуктивність джерела
Продуктивність джерела - це середня кількість інформації створюване джерелом в одиницю часу.
Продуктивність джерела дискретних повідомлень визначається як:
H'д.с. (А) = Н (А) / t ср; біт / с (14)
де tср - середня тривалість повідомлення:
де tн - час, протягом якого було сформовано n повідомлень.
Продуктивність джерела безперервних повідомлень визначається як:
H'н.с. (А) = fд Hотсч (А); біт / с (16)
де fд - частота дискретизації (2Fmax).
Якщо повідомлення квантуется рівноімовірними рівнями, т. Е. Pi = 1 / L, то продуктивність джерела може бути визначена як:
H'н.с. (А) = fд log2 L; біт / с (17)