Вимірювальні прилади з дискретної (квантованной) формою вихідної величини, до яких відносяться цифрові прилади, мають поступово-лінійну функцію перетворення. Розмір ступені визначається кроком квантування вихідної величини. При цьому різним значенням безперервної вимірюваної величини відповідають дискретні значення вихідної величини. При цьому показання приладу теж будуть дискретні з кроком квантування, де - чутливість лінійної функції, яка мала б місце при. Відхилення ступінчастої функції перетворення від лінійної призводить до появи похибки квантування, залежність якої від вимірюваної величини має пилкоподібний вид (рис 5а, б, в).
З рис. 5 видно, що існує три різновиди квантування вихідної величини:
У першому випадку значення, відповідне залежності замінюється дискретним значенням, рівним найближчому рівню квантування. Розбіжність і буде визначати похибку квантування. З рис. 5а видно, що значення похибки квантування лежать в межах від до. При цьому всі значення рівноймовірно і математичне очікування такої похибки дорівнює 0. З цього випливає, що в цьому випадку похибка квантування є чисто випадкова похибка з рівномірним розподілом.
У другому випадку безперервні значення замінюються на, відповідні нижньому найближчого рівня. З рис. 5б видно, що похибка квантування в цьому випадку лежить в межах від до 0 і її математичне сподівання дорівнює. Бачимо, що на відміну від першого випадку при даному способі квантування систематична складова похибки не дорівнює нулю, а випадкова, рівномірно розподілена складова лежить в колишньому межі.
У третьому випадку отожествляется - найближчим верхнім рівнем. З рис. 5в видно, що похибка квантування знаходиться в інтервалі, її систематична складова дорівнює, а випадкова складова така ж, як і в двох попередніх випадках.