Thus we define the information Ik c

Thus we define the information Ik contained in a source symbol having probability of occurrence Pk as

h = - log2(P*) = (3'4'6)

where the unit is the bit. The average information of a source, called source entropy, is obtained by averaging the information in all possible symbols. For L symbols this entropy, denoted by H, ist

L 1 L

H = - X Pklog2(Pk) = - rrr- 2 PMPJ (bits/symbol). (3.4-7) *-i 1.1

Example 3.4-2

A quantizer output has four levels that occur with probabilities 0.1, 0.3, 0.4, and 0.2. We find the source entropy to be

H= -[0.1 log2(0.1) + 0.3 log2(0.3) + 0.41og2(0.4) + 0.2 log2(0.2)]

= 1.8464 bits/symbol.

If the quantizer symbols had equal probabilities, entropy would be H = -4(i)log2(i) = 2.0 bits/symbol.

Example 3.4-2 shows that the source with equal-probability output symbols has the largest entropy. This will be true in general [24].

Source entropy of (3.4-7) can also be applied to a sequence of symbols emitted over time. If the source is stationary! and its sequential symbols are statistically independent, the average information in a long string of symbols is again given by (3.4-7). Such a source is called a zero-memory source.

Optimum Binary Source Encoding

The entropy of a source, given by (3.4-7), is the smallest average number of binary digits that can be used per symbol to encode the source. Practical encoders typically require a larger average number of digits per symbol, which we denote by N. We define code efficiency by

r?codc = -§-• (3-4-8)

The binary codes discussed earlier all used a fixed number of bits (TV*) for each source symbol; for these codes N = Nb and r)code =s 1, with the equality holding only if source levels are equally probable and the number of source levels is a power of 2 (L = Lb = 2Nb). The efficiency for the source of Example 3.4-2 is 1.8464/2.0 = 0.9232, or 92.32%, for example.

If we abandon the requirement that codewords be of fixed length, it is possible to obtain more optimum codes that increase code efficiency. Huffman [25] has devised an encoding procedure that is optimum in the sense that it gives the smallest possible average number of binary digits

t The second form of (3.4-7) is more convenient in computations than the first. Here ln(') stands for the natural logarithm; ln(jc) = logjx).

t A stationary source has symbol probabilities that do not change with time.

per source symbol subject to the constraint that the code be uniquely decodable.

The Huffman procedure uses the following steps for binary encoding:

1. Arrange the L source symbols in decreasing order of their probabilities.

2. Combine the two symbols with smallest probabilities using a T junction

Kết quả (Việt) 2:

Vì vậy, chúng tôi xác định các thông tin Ik chứa trong một biểu tượng nguồn có xác suất xảy ra Vn như h = - log2 (P *) = (3'4'6) nơi đơn vị là bit. Các thông tin trung bình của một nguồn, được gọi là nguồn dữ liệu ngẫu nhiên, thu được bằng cách lấy trung bình các thông tin trong tất cả các biểu tượng có thể. Đối với các ký hiệu L entropy này, ký hiệu là H, ist L 1 L = H - X Pklog2 (Vn) = - rrr- 2 PMPJ (bit / symbol). (3,4-7) * -i 1.1 Ví dụ 3,4-2 Một sản lượng lượng tử có bốn cấp độ xảy ra với xác suất 0.1, 0.3, 0.4, và 0.2. Chúng tôi tìm thấy nguồn entropy là H = - [0,1 log2 (0,1) + 0,3 log2 (0.3) + 0.41og2 (0,4) + 0,2 log2 (0.2)] . = 1,8464 bit / symbol Nếu các biểu tượng lượng tử có xác suất bằng nhau, entropy sẽ là H = -4 (i) log2 (i) = 2,0 bit / symbol. Ví dụ 3,4-2 cho thấy nguồn với các ký hiệu đầu ra bằng xác suất có entropy lớn nhất. Đây sẽ là đúng nói chung [24]. Nguồn entropy của (3,4-7) cũng có thể được áp dụng cho một chuỗi các ký hiệu được phát ra theo thời gian. Nếu nguồn là văn phòng phẩm! tuần tự và biểu tượng của nó được độc lập thống kê, thông tin trung bình trong một chuỗi dài của những biểu tượng là một lần nữa được đưa ra bởi (3,4-7). Một nguồn như vậy được gọi là một nguồn zero-bộ nhớ. Optimum Binary Nguồn Encoding Entropy của một nguồn, cho bởi (3,4-7), là số trung bình nhỏ nhất của các chữ số nhị phân có thể được sử dụng cho mỗi biểu tượng để mã hóa các nguồn. Bộ mã hóa thực tế thường đòi hỏi một số lượng trung bình lớn hơn chữ số cho mỗi biểu tượng, mà chúng biểu thị bởi N. Chúng tôi xác định mã hiệu quả bằng cách r? codc = -§- • (3-4-8) Các mã nhị phân thảo luận trước đó tất cả được sử dụng một số cố định của bit (TV *) cho mỗi biểu tượng nguồn; cho các mã số N = Nb và r) mã = s 1, với sự bình đẳng giữ chỉ khi mức nguồn là như nhau có thể xảy ra và số lượng của các cấp nguồn là một sức mạnh của 2 (L = Lb = 2Nb). Hiệu quả của nguồn cung của Ví dụ 3,4-2 là 1,8464 / 2,0 = 0,9232, hay 92,32%, ví dụ. Nếu chúng ta từ bỏ yêu cầu rằng từ mã có chiều dài cố định, nó có thể có được mã tối ưu hơn làm tăng hiệu quả mã. Huffman [25] đã đưa ra một quy trình mã hóa đó là tối ưu trong ý nghĩa rằng nó mang lại cho số lượng trung bình nhỏ nhất có thể của các chữ số nhị phân t Dạng thứ hai của (3,4-7) là thuận tiện hơn trong tính toán hơn so với trước. Đây ln (') là viết tắt của logarit tự nhiên; ln (jc) = logjx). t Một nguồn tin văn phòng phẩm có xác suất biểu tượng mà không thay đổi theo thời gian. mỗi nguồn biểu tượng chịu sự ràng buộc là các mã được giải mã duy nhất. Các thủ tục Huffman sử dụng các bước sau để mã hóa nhị phân: 1. Sắp xếp các ký hiệu L nguồn thứ tự giảm dần của xác suất của chúng. 2. Kết hợp hai biểu tượng với xác suất nhỏ nhất bằng cách sử dụng một ngã ba T