Що таке ентропія безперервного випадкового процесу?
Як в ентропії проявляється властивість ергодичності випадкового процесу?
Як визначається ентропія безперервного ергодичного випадкового процесу, її розмірність?
Як визначається продуктивність безперервного ергодичного випадкового процесу, її розмірність?
14.Пропускная здатність безперервного каналу зв'язку
Якщо x (t) - сигнал на вході каналу зв'язку, АY (t) = x (t) + n (t) - сигнал на його виході (n (t) -аддітівная перешкода), то швидкість передачі інформації по безперервному каналу зв'язку буде визначатися виразом (23), в якому величину 1 / t треба замінити на2Fmax (або 2Fk. припускаючи, що джерело сигналу узгоджений з каналом і його смуга пропускання Fk = Fmax)
де, як і раніше, H (y) - це ентропія вихідного повідомлення, H (y / x) - ентропія шуму (чому вона так називається, буде видно з подальшого викладу).
Пропускна здатність дорівнює максимально можливої швидкості передачі по каналу зв'язку, коли джерело сигналу повністю узгоджений з характеристиками каналу зв'язку:
Максимум H (y) досягається в разі гауссовского закону розподілу випадкової велічіниy. При цьому
При обліку впливу перешкоди необхідно розглядати найгірший випадок, коли перешкода розподілена також по гауссовскому закону.
Умовна ймовірність w (y / x) - це просто ймовірність розподілу випадкової велічіниy при нібито відомому заздалегідь значенііx. хоча велічінаx є випадковою. Але, так какyю (t) = x (t) + n (t). можна записати
,
Визначимо умовну ентропію H (y / x)
.
У цьому виразі передбачається, що x відомо заздалегідь. Таким чином, велічінаx в наведеному вираженні є просто математичним очікуванням велічіниy. Однак відомо, що ентропія безперервного випадкового процесу від математичного очікування не залежить.
Тоді отримуємо, що
.
Звідси видно, чому умовна ентропія H (y / x) називається ентропією шуму.
Для гауссовского закону розподілу перешкоди максимальне значення ентропії шуму, відповідно до (35), дорівнюватиме
Підставляючи (39) і (40) в (38), отримуємо.
Переносячи число 2 під знак логарифма, отримаємо. У цьому вираженііs2n = Рп - потужність перешкоди, аs2y = s2x + s2n = Pс + Рп. гдеPс - потужність сигналу на виході каналу зв'язку. З урахуванням цього отримуємо остаточно формулу для обчислення пропускної здатності безперервного каналу зв'язку (формулу Шеннона):
На закінчення можна відзначити наступне.
Для досягнення швидкості передачі інформації по безперервному каналу зв'язку, близькою до пропускної здатності каналу зв'язку, сигнал x (t) за статистичною структурі повинен бути близький до флюктуаціоної заваді (білого шуму) з гауссовским законом розподілу.
Питання до розділу 14
Від чого залежить пропускна здатність безперервного каналу зв'язку?
Наведіть формулу для знаходження пропускної здатності безперервного каналу зв'язку.
Як змінюється пропускна здатність безперервного каналу зв'язку при збільшенні ефективної смуги пропускання каналу?
Які пред'являються вимоги до сигналу (його статистичної структурі), щоб наблизити швидкість передачі безперервного сигналу до пропускної спроможності каналу?