Ентропія і інформація
Для практики важливо вміти чисельно оцінювати ступінь невизначеності самих різно-образних дослідів, щоб мати можливість їх порівнювати.
Почнемо з розгляду дослідів мають K рівно можливих випадків. Ступінь неопре-делённості кожного такого досвіду визначається числом K. При K = 1 результат досвіду не яв-ляется випадковим. При великому значенні K пророкування результату досвіду стає скрутним.
Таким чином, шукана чисельна характеристика ступеня невизначеності повинна залежати від K. тобто бути функцією f (k); f (1) = 0; при зростанні аргументу, функція повинна зростати. Для більш повного визначення функції f (k) необхідно пред-явити до неї додаткові вимоги.
Розглянемо складний досвід. що складається в одночасному виконанні дослідів і. Невизначеність виконання складного досвіду більше невизначеності досвіду. тому до його невизначеності треба додати невизначеність досвіду. Тому природний-но вважати, що ступінь невизначеності досвіду дорівнює сумі невизначеностей, які характеризують і.
Нехай має k ∋ l рівно можливих випадків, k; l. Приходимо до наступного усло-вию, котрому повинна задовольняти функція f (kl) = f (k) + f (l). Останнє усло-віє наштовхує на думку прийняти за міру невизначеності досвіду, що має K рав-новероятних результатів число log k. log (kl) = log k + log l. Таке визначення міри невизначеності узгоджується з початковими умовами, що f (1) = log 1 = 0; f (k) - зростаюча функція. Можна довести, що логарифмічна функція являє-ся єдиною, задовольняє цим умовам.
Зауваження: відзначимо, що вибір підстави логарифма великої ролі не грає, посколь-ку в силу відомої формули переходу можемо написати logb a = logc a / logc b ⇒ logb k = logb a ∋ loga k зводиться до домноженію на константу, тобто рівносильний простому зміни одиниці виміру ступеня неопределённості.Обично за міру ступеня невизначеності-ності беруть логарифми при підставі 2: log2k = logk. причому підставу 2 не фіксується-ють. Тобто за одиницю виміру ступеня невизначеності приймають невизначеність досвіду, що має 2 рівноймовірно результату: log2 2 = 1 біт. Скрізь далі будемо пользо-тися двійковими одиницями виміру.
Таблиця ймовірності для досвіду, що має K рівно можливих випадків:
У разі, якщо досвід має K попарно несумісних результатів, то H () = 0 дорівнює-сильно тому, що один результат - достовірна подія, а всі інші - неможливі, так як p (A1) +. + P (Ak) = 1. Ця обставина добре узгоджуються з величиною
H () -тільки в цьому випадку досвід взагалі не містить невизначеності.
2. З усіх дослідів c K наслідками самим невизначеним є досвід досвід з K рав-новероятнимі наслідками. Можна показати, що має місце нерівність
Рівність досягається при рівних можливостях P (Ai); i = [1; k]
Приклад: Є дві урни З20-ма кулями каждая.Первая- 10белих, 5чёрних, 5крас-них. Друга - 8 білих, 8 чорних, 4 червоних.
З кожної урну виймають по 1 кулі. Результат якого з двох дослідів слід вважати більш невизначеним?
Рішення: Позначимо досліди як А1іA2.A1