9. CONCLUSIONS9.1 Research Undertak

9. CONCLUSIONS



9.1 Research Undertaken


Acquisition and Pre-processing of Integral 3D Image Data


For digital domain processing to be possible, a photographically recorded integral three di- mensional image must first be scanned electronically. The resulting data, in the form of
an RtGtBt-space pixel map, is subjected to processing operations for correction of geometric
distortions introduced on the photographic/electronic interface at the scanner, and in order to scale the resulting data to a common pixel resolution for compression. A filtering pro- cess, based on a one dimensional median filter, has been developed to reject any high spatial frequency noise which may be introduced at the scanning stage. For final display of the im- age, the data reconstructed at the receiver’s decoder are scaled to the display system’s output resolution.


The Nature of the Digital Integral 3D Image Representation

Although the captured integral 3D image data are in the standard format of an RtGtBt-space pixel map, it is inappropriate to refer to the data as an image. Since they result from a complex mapping of three dimensional space to a planar form carried out by a lenticular or microlens array, the pixel map is referred to as an integral intensity distribution. The inten- sity distribution possesses a structure unique to the integral imaging method, giving rise to statistical characteristics unlike those typical to a conventional two dimensional natural im- age. Significant cross-correlation is present between corresponding pixels from neighbour- ing lenticular bands or microlenses. Additionally, significant correlation is present between pixels from each lenticular band or microlens due to low spatial frequencies being dominant.



169


Coding Techniques Developed for Use with Integral 3D Image Data


Two coding scheme classes have been developed which exploit the unique statistical prop- erties of electronically captured integral 3D image intensity distributions. The first scheme uses a hybrid DPCM/DCT mapping structure and the second a 3D-DCT based mapping structure. Both use scalar uniform symmetric quantisation stages and run-length/Huffman entropy coders. The results of simulations using fixed quantisation arrays indicate that trans- mission of up to three standard definition resolution pictures is possible using the hybrid DPCM/DCT scheme, and up to four standard definition or one high definition picture using the 3D-DCT scheme, such that the reconstructed decoded image forms a high quality 3D display indistinguishable from the source image. These values assume a channel using 64- QAM modulation, a baseband shaping filter with a roll-off factor of 0.15 and an analogue transmission bandwidth of 8 MHz. Such a channel is practicable within a cable transmission system. Additionally, since the base coding schemes have been developed for still image compression, the significant inter-frame correlation present in motion video sequences is not exploited, leading to underestimation in the performance of the schemes for video coding; see subsection 9.2.3.


Coding Scheme Quantisation Stage Optimisation


Improved rate-distortion performance is possible in the 3D-DCT scheme by making use of quantisation arrays which are tailored specifically to the characteristics of lenticular-integral 3D image intensity distributions. An optimisation process has been used to derive a model for quantisation within a continuous range of output bit rate values. An improvement in objective fidelity over use of fixed quantisation has been observed. Measured by the peak signal to noise ratio of the reconstructed intensity distribution, this is between 0.05 and 0.2 dB where the luma channel only of the source is taken into account. Examinations of reconstructed intensity distributions were carried out where the quantisation array was designed in this way. A reduction in group domain blocking artifacts was noted when compared with the use of fixed quantisation, particularly when coding to low bit rate values, giving rise to improved reconstructed image fidelity. The optimisation and modelling technique provides a general design methodology for quantisation strategies suitable for use with the 3D-DCT based integral image coding scheme. In general, the use of such a tailored quantisation array is important in achieving optimal rate-distortion performance.

Figures 9.1 and 9.2 present summary performance data for the various schemes developed


in the form of staged bar charts, for luma only and full colour cases respectively. In both the luma and full colour cases, the greatest rate-distortion performance increase occurs in moving from baseline sequential-DCT JPEG to the base hybrid DPCM/DCT scheme. This demonstrates the importance of including processes to exploit the inter-subimage correla- tion which occurs in integral intensity distribution data. The enhanced hybrid DPCM/DCT scheme provides a further minimal performance increase without further distortion for a given output bit rate. The second most significant improvement occurs when the 3D-DCT scheme is applied, particularly at low bit rates. This occurs due to the improved decorre- lation effectiveness of the DCT over the differencing of neighbouring subimages as is used in the hybrid DPCM/DCT schemes. The use of the all-plane scanning strategy, matched closely to the statistical characteristics of lenticular-integral image data, provides a further

Kết quả (Việt) 1:

9. KẾT LUẬN9.1 nghiên cứu thực hiện Mua lại và trước khi xử lý dữ liệu hình ảnh 3D không thể tách rờiKỹ thuật số miền chế biến để có thể, một hình ảnh ghi lại photographically tích phân ba di-mensional phải lần đầu tiên được quét điện tử. Các dữ liệu kết quả, trong các hình thứcmột bản đồ điểm ảnh không gian RtGtBt, là đối tượng để xử lý các hoạt động cho các chỉnh sửa của hình họcbiến dạng giới thiệu trên giao diện hình ảnh/điện tử tại các máy quét, và để quy mô các dữ liệu kết quả đến một độ phân giải pixel phổ biến cho nén. Một chuyên nghiệp lọc-cess, dựa trên một chiều trung bình lọc, đã được phát triển để từ chối bất kỳ tiếng ồn cao tần số không gian mà có thể được giới thiệu ở giai đoạn quét. Để hiển thị cuối cùng của im-tuổi, dữ liệu xây dựng lại tại bộ giải mã của người nhận được đẩy mạnh với độ phân giải đầu ra hệ thống hiển thị. Bản chất của đại diện kỹ thuật số hình ảnh không thể thiếu 3DMặc dù dữ liệu ảnh 3D được chụp không thể thiếu trong các định dạng tiêu chuẩn của một bản đồ điểm ảnh RtGtBt-không gian, nó là không thích hợp để chỉ các dữ liệu như một hình ảnh. Kể từ khi họ dẫn đến từ một bản đồ phức tạp của không gian ba chiều để một dạng hai chiều thực hiện bởi một mảng lenticular hoặc microlens, bản đồ điểm ảnh được gọi là một phân phối không thể tách rời cường độ. Các inten-phân phối sity sở hữu một cấu trúc độc đáo để tích phân hình ảnh phương pháp, dẫn đến các đặc tính thống kê không giống như những người tiêu biểu cho một quy ước hai chiều tự nhiên im-tuổi. Cross tương quan đáng kể là hiện nay giữa các điểm ảnh tương ứng từ hàng xóm-ing lenticular ban nhạc hoặc gapless. Ngoài ra, tương quan đáng kể là hiện nay giữa các điểm ảnh từ mỗi lenticular ban nhạc hoặc microlens do tần số thấp không gian được chi phối.169 Mã hóa các kỹ thuật phát triển để sử dụng với hình ảnh 3D không thể thiếu dữ liệuHai mã hóa đề án lớp học đã được phát triển mà khai thác các duy nhất thống kê prop-erties của điện tử bắt hình ảnh không thể thiếu 3D cường độ phân phối. Đề án đầu tiên sử dụng một lai DPCM/DCT lập bản đồ cấu trúc và thứ hai 3D DCT dựa trên cấu trúc lập bản đồ. Cả hai sử dụng vô hướng thống nhất đối xứng quantisation giai đoạn và lập trình chạy-chiều dài/Huffman entropy. Kết quả của mô phỏng bằng cách sử dụng cố định quantisation mảng chỉ ra rằng trans-nhiệm vụ đến ba độ nét tiêu chuẩn độ phân giải hình ảnh có thể sử dụng chương trình DPCM/DCT hybrid, và lên đến bốn định nghĩa tiêu chuẩn hoặc sử dụng hình ảnh độ nét cao một chương trình 3D-DCT, như vậy mà các dựng lại giải mã hình ảnh tạo thành một chất lượng cao 3D Hiển thị không thể phân biệt từ hình ảnh nguồn. Những giá trị này giả định một kênh bằng cách sử dụng điều chế 64-QAM, một baseband hình bộ lọc với một cuộn ra yếu tố của 0,15 và một băng thông truyền tải tương tự của 8 MHz. Kênh như vậy là tốt trong một hệ thống truyền dẫn cáp. Ngoài ra, kể từ cơ sở mã hóa đề án đã được phát triển cho vẫn còn hình ảnh nén, các mối tương quan giữa khung đáng kể hiện diện trong chuyển động chuỗi video không phải khai thác, dẫn đến underestimation trong việc thực hiện các chương trình cho mã hóa video; Xem phụ 9.2.3. Mã hóa đề án Quantisation giai đoạn tối ưu hóaHiệu suất được cải thiện tỷ lệ-biến dạng có thể vào chương trình 3D-DCT bằng cách sử dụng các mảng quantisation được thiết kế riêng đặc biệt cho các đặc tính của hình ảnh 3D lenticular tích phân cường độ phân phối. Trình tối ưu hoá đã được sử dụng để lấy được một mô hình cho quantisation trong một loạt liên tục của giá trị tỷ lệ bit đầu ra. Một sự cải tiến trong mục tiêu độ trung thực trong việc sử dụng của quantisation cố định đã được quan sát thấy. Đo bằng các đỉnh tín hiệu tỉ lệ nhiễu của phân phối dựng lại cường độ, điều này là giữa 0,05 và cách 0.2 dB nơi kênh tiếng chỉ của nguồn được đưa vào tài khoản. Các kỳ thi của dựng lại cường độ phân phối đã được thực hiện nơi các mảng quantisation được thiết kế theo cách này. Một sự giảm trong nhóm miền chặn hiện vật đã được ghi nhận khi so sánh với việc sử dụng của quantisation cố định, đặc biệt là khi mã hóa đến các giá trị tỷ lệ bit thấp, dẫn đến hình ảnh dựng lại cải tiến độ trung thực. Các kỹ thuật tối ưu hóa và mô hình cung cấp một phương pháp thiết kế chung cho quantisation chiến lược phù hợp với hình ảnh không thể thiếu 3D-DCT dựa trên mã hóa đề án. Nói chung, việc sử dụng một mảng phù hợp quantisation là quan trọng trong việc đạt được hiệu suất tối ưu tốc độ-biến dạng.Con số 9.1 và 9.2 dữ liệu tóm lược hiệu suất hiện nay cho các chương trình khác nhau phát triển trong hình thức biểu đồ thanh theo giai đoạn, cho tiếng duy nhất và đầy đủ màu sắc trường hợp tương ứng. Trong cả hai tiếng và trường hợp đầy đủ màu sắc, hiệu suất tăng lớn nhất của tốc độ biến dạng xảy ra trong việc di chuyển từ đường cơ sở tuần tự-DCT JPEG để chương trình DPCM/DCT cơ sở lai. Điều này chứng tỏ tầm quan trọng của bao gồm các quá trình khai thác inter-subimage correla-tion xảy ra trong cường độ không thể tách rời phân phối dữ liệu. Đề án DPCM/DCT hybrid tăng cường cung cấp một sự gia tăng thêm hiệu suất tối thiểu mà không bị méo hơn nữa cho một tỷ lệ bit nhất định đầu ra. Cải thiện thứ hai quan trọng nhất xảy ra khi chương trình 3D-DCT được áp dụng, đặc biệt là ở mức giá thấp chút. Điều này xảy ra do hiệu quả cải thiện decorre-lation của DCT trên các differencing của subimages lân cận như được sử dụng trong các chương trình DPCM/DCT lai. Việc sử dụng các chiến lược quét tất cả máy bay, phù hợp chặt chẽ với các đặc tính thống kê của dữ liệu hình ảnh lenticular tích phân, cung cấp thêm

Kết quả (Việt) 2:

9. Kết luận 9.1 Nghiên cứu Được thực hiện thu và Sơ chế Integral dữ liệu ảnh 3D Đối với chế biến miền kỹ thuật số để có thể, một tích ba hình ảnh mensional di- nhiếp ảnh ghi nhận trước tiên phải được quét mạng điện tử. Các dữ liệu kết quả, dưới hình thức của một bản đồ RtGtBt không gian pixel, là đối tượng của hoạt động chế biến cầu sửa hình học biến dạng giới thiệu về giao diện điện tử / chụp ảnh ở máy quét, và để mở rộng quy mô các dữ liệu kết quả để một điểm ảnh có độ phân giải phổ biến cho nén. Một qúa trình lọc, dựa trên một bộ lọc trung bình một chiều, đã được phát triển để từ chối bất kỳ tiếng ồn tần số không gian cao mà có thể được giới thiệu ở giai đoạn quét. Đối với màn hình cuối cùng của tuổi im-, các dữ liệu tái tạo tại bộ giải mã của người nhận được thu nhỏ để giải quyết đầu ra hệ thống hiển thị của. Bản chất của kỹ thuật số tích hợp 3D Hình ảnh Đại diện Mặc dù các dữ liệu hình ảnh 3D không tách rời bắt ở dạng tiêu chuẩn của một RtGtBt- không gian Bản đồ điểm ảnh, nó không thích hợp để tham khảo các dữ liệu như là một hình ảnh. Kể từ khi chúng xuất phát từ một bản đồ phức tạp của ba chiều không gian mẫu phẳng được thực hiện bởi một mảng lenticular hoặc ống kính siêu nhỏ, bản đồ điểm ảnh được gọi là một phân bố cường độ tích phân. Sự phân bố chủ ý sự đa sở hữu một cấu trúc độc đáo của phương pháp tạo ảnh không thể thiếu, làm tăng đặc tính thống kê không giống như những điển hình đến một độ tuổi ước hai chiều tự nhiên trọng. Đáng kể tương quan chéo là hiện tại giữa các điểm ảnh tương ứng từ tỉnh láng giềng ban nhạc lenticular hoặc microlenses. Ngoài ra, sự tương quan đáng kể hiện diện giữa các điểm ảnh từ mỗi ban nhạc lenticular hoặc ống kính siêu nhỏ do tần số không gian thấp đang chiếm ưu thế. 169 Coding kỹ thuật được phát triển để sử dụng với Integral 3D Image Data Hai lớp học chương trình mã hóa đã được phát triển trong đó khai thác erties prop- thống kê độc đáo của điện tử bắt 3D không tách rời phân bố cường độ hình ảnh. Các chương trình đầu tiên sử dụng một DPCM lai / DCT cấu trúc lập bản đồ và lần thứ hai một cấu trúc bản đồ 3D-DCT dựa. Cả hai sử dụng thống nhất vô hướng giai đoạn lượng tử đối xứng và chạy dài / Huffman entropy lập trình. Các kết quả mô phỏng sử dụng các mảng quantisation cố định chỉ ra rằng năng truyền lên đến ba tiêu chuẩn hình ảnh độ phân giải định nghĩa là có thể sử dụng sơ đồ lai DPCM / DCT, và lên đến bốn độ nét tiêu chuẩn hoặc một hình ảnh độ nét cao bằng cách sử dụng chương trình 3D-DCT, chẳng hạn rằng hình ảnh giải mã tái tạo thành một màn hình hiển thị 3D chất lượng cao không thể phân biệt từ các hình ảnh nguồn. Những giá trị giả định một kênh bằng cách sử dụng 64 QAM, một baseband hình bộ lọc với một yếu tố roll-off 0,15 và một băng thông truyền dẫn tương tự của 8 MHz. Một kênh như vậy là có thể thực hiện trong một hệ thống truyền hình cáp. Ngoài ra, kể từ khi cơ sở mã hóa các đề án đã được phát triển cho vẫn nén hình ảnh, các liên tương quan khung hiện quan trọng trong chuỗi video chuyển động không được khai thác, dẫn đến việc trong việc thực hiện các đề án cho video mã hóa; xem tiểu mục 9.2.3. Mã hóa lượng tử Scheme Stage Optimisation Cải thiện hiệu suất tốc độ biến dạng là có thể có trong các chương trình 3D-DCT bằng cách sử dụng mảng lượng tử được thiết kế đặc biệt với đặc điểm của lenticular-tích phân bố cường độ hình ảnh 3D. Một quá trình tối ưu hóa đã được sử dụng để lấy được một mô hình cho các lượng tử trong một phạm vi liên tục sản lượng giá trị tốc độ bit. Một cải tiến được độ trung thực khách quan về sử dụng lượng tử cố định đã được quan sát thấy. Đo bằng tín hiệu đỉnh để tiếng ồn tỷ lệ của sự phân bố cường tái tạo, điều này là giữa 0,05 và 0,2 dB nơi kênh luma chỉ của nguồn được đưa vào tài khoản. Thi của các phân bố cường độ tái cấu trúc được thực hiện nơi các mảng lượng tử được thiết kế theo cách này. Giảm hiện vật chặn miền nhóm đã được ghi nhận khi so sánh với việc sử dụng lượng tử cố định, đặc biệt là khi mã hóa các giá trị tỷ lệ bit thấp, dẫn đến cải thiện độ trung thực tái tạo hình ảnh. Việc tối ưu hóa và mô hình hóa kỹ thuật cung cấp một phương pháp thiết kế chung của chiến lược lượng tử thích hợp để sử dụng với 3D-DCT dựa hình ảnh không thể thiếu mã hóa đề án. Nhìn chung, việc sử dụng một mảng lượng tử phù như vậy là rất quan trọng trong việc đạt được hiệu suất tỷ lệ biến dạng tối ưu. Hình 9.1 và 9.2 dữ liệu hiệu suất tổng hợp hiện nay cho các đề án khác nhau được phát triển dưới dạng biểu đồ thanh dàn dựng, cho luma chỉ và các trường hợp đầy đủ màu sắc tương ứng . Trong cả hai trường hợp luma và đầy đủ màu sắc, sự gia tăng hiệu suất tốc độ biến dạng lớn nhất xảy ra trong việc di chuyển từ đường cơ sở tuần tự-DCT JPEG để các cơ sở lai DPCM / DCT đề án. Điều này chứng tỏ tầm quan trọng của việc đưa các quy trình khai thác liên subimage tion tương quan xảy ra trong dữ liệu phân bố cường độ tích phân. Các hybrid DPCM / DCT Đề án tăng cường cung cấp một hiệu suất tăng thêm tối thiểu mà không bóp méo thêm cho một tỷ lệ bit đầu ra nhất định. Sự cải thiện đáng kể thứ hai xảy ra khi các chương trình 3D-DCT được áp dụng, đặc biệt là ở tốc độ bit thấp. Điều này xảy ra do sự cải thiện hiệu quả decorre- lation của DCT trong Differencing của subimages lân cận như được sử dụng trong lai DPCM / DCT án. Việc sử dụng các chiến lược chức năng quét tất cả các mặt phẳng, kết hợp chặt chẽ với các đặc tính thống kê của dữ liệu hình ảnh lenticular-tích, cung cấp thêm