Thus we define the information Ik c

Thus we define the information Ik contained in a source symbol having probability of occurrence Pk as

h = - log2(P*) = (3'4'6)

where the unit is the bit. The average information of a source, called source entropy, is obtained by averaging the information in all possible symbols. For L symbols this entropy, denoted by H, ist

L 1 L

H = - X Pklog2(Pk) = - rrr- 2 PMPJ (bits/symbol). (3.4-7) *-i 1.1

Example 3.4-2

A quantizer output has four levels that occur with probabilities 0.1, 0.3, 0.4, and 0.2. We find the source entropy to be

H= -[0.1 log2(0.1) + 0.3 log2(0.3) + 0.41og2(0.4) + 0.2 log2(0.2)]

= 1.8464 bits/symbol.

If the quantizer symbols had equal probabilities, entropy would be H = -4(i)log2(i) = 2.0 bits/symbol.

Example 3.4-2 shows that the source with equal-probability output symbols has the largest entropy. This will be true in general [24].

Source entropy of (3.4-7) can also be applied to a sequence of symbols emitted over time. If the source is stationary! and its sequential symbols are statistically independent, the average information in a long string of symbols is again given by (3.4-7). Such a source is called a zero-memory source.

Optimum Binary Source Encoding

The entropy of a source, given by (3.4-7), is the smallest average number of binary digits that can be used per symbol to encode the source. Practical encoders typically require a larger average number of digits per symbol, which we denote by N. We define code efficiency by

r?codc = -§-• (3-4-8)

The binary codes discussed earlier all used a fixed number of bits (TV*) for each source symbol; for these codes N = Nb and r)code =s 1, with the equality holding only if source levels are equally probable and the number of source levels is a power of 2 (L = Lb = 2Nb). The efficiency for the source of Example 3.4-2 is 1.8464/2.0 = 0.9232, or 92.32%, for example.

If we abandon the requirement that codewords be of fixed length, it is possible to obtain more optimum codes that increase code efficiency. Huffman [25] has devised an encoding procedure that is optimum in the sense that it gives the smallest possible average number of binary digits

t The second form of (3.4-7) is more convenient in computations than the first. Here ln(') stands for the natural logarithm; ln(jc) = logjx).

t A stationary source has symbol probabilities that do not change with time.

per source symbol subject to the constraint that the code be uniquely decodable.

The Huffman procedure uses the following steps for binary encoding:

1. Arrange the L source symbols in decreasing order of their probabilities.

2. Combine the two symbols with smallest probabilities using a T junction

Kết quả (Việt) 1:

Do đó chúng tôi xác định các thông tin chứa trong một biểu tượng nguồn có khả năng xuất hiện Pk Ik nhưh = - log2(P*) = (3'4 ' 6)nơi các đơn vị là các bit. Các thông tin trung bình của một nguồn, được gọi là nguồn dữ liệu ngẫu nhiên, thu được bằng cách trung bình thông tin trong tất cả các biểu tượng có thể. Cho L biểu tượng này dữ liệu ngẫu nhiên, ký hiệu là H, istL 1 LH = - X Pklog2(Pk) = - rrr-2 PMPJ (bit/biểu tượng). (3,4-7) *-tôi 1.1Ví dụ 3.4-2Một đầu ra XviD có bốn cấp độ mà xảy ra với xác suất 0.1, 0.3, 0.4 và 0.2. Chúng tôi tìm thấy nguồn dữ liệu ngẫu nhiên đượcH =-[0.1 log2(0.1) + cách 0.3 log2(0.3) + 0.41og2(0.4) + cách 0.2 log2(0.2)]= 1.8464 bit/biểu tượng.Nếu biểu tượng XviD có xác suất bằng nhau, dữ liệu ngẫu nhiên sẽ là H =-4(i)log2(i) = 2.0 bit/biểu tượng.Ví dụ 3.4-2 cho thấy nguồn với xác suất bằng nhau ra các biểu tượng có entropy lớn nhất. Điều này sẽ được thực sự nói chung [24].Nguồn dữ liệu ngẫu nhiên (3,4-7) cũng có thể được áp dụng cho một chuỗi các ký hiệu phát ra theo thời gian. Nếu nguồn là cố định! và các biểu tượng tuần tự là độc lập thống kê, các thông tin trung bình trong một chuỗi dài của các biểu tượng một lần nữa được đưa ra bởi (3,4-7). Một nguồn được gọi là một số không-bộ nhớ nguồn.Tối ưu nguồn nhị phân mã hóaDữ liệu ngẫu nhiên của một nguồn, được đưa ra bởi (3,4-7), là số trung bình nhỏ nhất của chữ số nhị phân có thể được sử dụng cho mỗi biểu tượng để mã hóa nguồn. Bộ mã hóa thực tế thường đòi hỏi một số lớn hơn trung bình của các chữ số cho một biểu tượng, chúng tôi biểu thị bởi N. Chúng tôi xác định mã hiệu quả bởir? codc =-§-• (3-4-8)Các mã nhị phân thảo luận trước đó, tất cả sử dụng một số bit (TV *) cố định cho mỗi biểu tượng nguồn; cho các mã số N = Nb và r) mã = s 1, với sự bình đẳng đang nắm giữ chỉ nếu nguồn cấp là như nhau có thể xảy ra và số lượng nguồn cấp là một sức mạnh của 2 (L = Lb = 2Nb). Hiệu quả cho mã nguồn của ví dụ 3.4-2 là 1.8464/2.0 = 0.9232, hoặc 92.32%, ví dụ.Nếu chúng ta từ bỏ các yêu cầu codewords đó cố định chiều dài, nó có thể để có được thêm mã tối ưu tăng mã hiệu quả. Huffman [25] đã nghĩ ra một quy trình mã hóa là tối ưu trong ý nghĩa rằng nó mang lại cho số nhỏ nhất có thể trung bình chữ số nhị phânt hình thức thứ hai (3,4-7) là thuận tiện hơn trong tính toán so với trước. Ở đây ln(') là viết tắt của lôgarit tự nhiên; LN(JC) = logjx).t một nguồn văn phòng phẩm có xác suất biểu tượng không thay đổi theo thời gian.một nguồn các biểu tượng tùy thuộc vào hạn chế mã duy nhất decodable.Quy trình Huffman sử dụng các bước sau để mã hóa nhị phân:1. sắp xếp biểu tượng nguồn L trong giảm Huân chương của xác suất.2. kết hợp các biểu tượng hai với xác suất nhỏ nhất bằng cách sử dụng một đường giao nhau T

Kết quả (Việt) 2:

Vì vậy, chúng tôi xác định các thông tin Ik chứa trong một biểu tượng nguồn có xác suất xảy ra Vn như h = - log2 (P *) = (3'4'6) nơi đơn vị là bit. Các thông tin trung bình của một nguồn, được gọi là nguồn dữ liệu ngẫu nhiên, thu được bằng cách lấy trung bình các thông tin trong tất cả các biểu tượng có thể. Đối với các ký hiệu L entropy này, ký hiệu là H, ist L 1 L = H - X Pklog2 (Vn) = - rrr- 2 PMPJ (bit / symbol). (3,4-7) * -i 1.1 Ví dụ 3,4-2 Một sản lượng lượng tử có bốn cấp độ xảy ra với xác suất 0.1, 0.3, 0.4, và 0.2. Chúng tôi tìm thấy nguồn entropy là H = - [0,1 log2 (0,1) + 0,3 log2 (0.3) + 0.41og2 (0,4) + 0,2 log2 (0.2)] . = 1,8464 bit / symbol Nếu các biểu tượng lượng tử có xác suất bằng nhau, entropy sẽ là H = -4 (i) log2 (i) = 2,0 bit / symbol. Ví dụ 3,4-2 cho thấy nguồn với các ký hiệu đầu ra bằng xác suất có entropy lớn nhất. Đây sẽ là đúng nói chung [24]. Nguồn entropy của (3,4-7) cũng có thể được áp dụng cho một chuỗi các ký hiệu được phát ra theo thời gian. Nếu nguồn là văn phòng phẩm! tuần tự và biểu tượng của nó được độc lập thống kê, thông tin trung bình trong một chuỗi dài của những biểu tượng là một lần nữa được đưa ra bởi (3,4-7). Một nguồn như vậy được gọi là một nguồn zero-bộ nhớ. Optimum Binary Nguồn Encoding Entropy của một nguồn, cho bởi (3,4-7), là số trung bình nhỏ nhất của các chữ số nhị phân có thể được sử dụng cho mỗi biểu tượng để mã hóa các nguồn. Bộ mã hóa thực tế thường đòi hỏi một số lượng trung bình lớn hơn chữ số cho mỗi biểu tượng, mà chúng biểu thị bởi N. Chúng tôi xác định mã hiệu quả bằng cách r? codc = -§- • (3-4-8) Các mã nhị phân thảo luận trước đó tất cả được sử dụng một số cố định của bit (TV *) cho mỗi biểu tượng nguồn; cho các mã số N = Nb và r) mã = s 1, với sự bình đẳng giữ chỉ khi mức nguồn là như nhau có thể xảy ra và số lượng của các cấp nguồn là một sức mạnh của 2 (L = Lb = 2Nb). Hiệu quả của nguồn cung của Ví dụ 3,4-2 là 1,8464 / 2,0 = 0,9232, hay 92,32%, ví dụ. Nếu chúng ta từ bỏ yêu cầu rằng từ mã có chiều dài cố định, nó có thể có được mã tối ưu hơn làm tăng hiệu quả mã. Huffman [25] đã đưa ra một quy trình mã hóa đó là tối ưu trong ý nghĩa rằng nó mang lại cho số lượng trung bình nhỏ nhất có thể của các chữ số nhị phân t Dạng thứ hai của (3,4-7) là thuận tiện hơn trong tính toán hơn so với trước. Đây ln (') là viết tắt của logarit tự nhiên; ln (jc) = logjx). t Một nguồn tin văn phòng phẩm có xác suất biểu tượng mà không thay đổi theo thời gian. mỗi nguồn biểu tượng chịu sự ràng buộc là các mã được giải mã duy nhất. Các thủ tục Huffman sử dụng các bước sau để mã hóa nhị phân: 1. Sắp xếp các ký hiệu L nguồn thứ tự giảm dần của xác suất của chúng. 2. Kết hợp hai biểu tượng với xác suất nhỏ nhất bằng cách sử dụng một ngã ba T