Rotation Invariant Image Descriptio

Rotation Invariant Image Description with Local Binary Pattern Histogram Fourier Features
Timo Ahonen1, Jiˇr´ı Matas2, Chu He3,1, and Matti Pietik¨ainen1
1
Machine Vision Group, University of Oulu, Finland
{tahonen,mkp}@ee.oulu.fi
2
Center for Machine Percpetion, Dept. of Cybernetics,
Faculty of Elec. Eng., Czech Technical University in Prague [e-mail]
3
School of Electronic Information, Wuhan University, P.R. China [e-mail]
Abstract. In this paper, we propose Local Binary Pattern Histogram Fourier features (LBP-HF), a novel rotation invariant image descriptor computed from discrete Fourier transforms of local binary pattern (LBP) histograms. Unlike most other histogram based invariant texture descriptors which normalize rotation locally, the proposed invariants are constructed globally for the whole region to be described. In addition to being rotation invariant, the LBP-HF features retain the highly discriminative nature of LBP histograms. In the experiments, it is shown that these features outperform non-invariant and earlier version of rotation invariant LBP and the MR8 descriptor in texture classification, material categorization and face recognition tests.
1 Introduction
Rotation invariant texture analysis is a widely studied problem [1], [2], [3]. It aims at providing with texture features that are invariant to rotation angle of the input texture image. Moreover, these features should typically be robust also to image formation conditions such as illumination changes.
Describing the appearance locally, e.g., using co-occurrences of gray values or with filter bank responses and then forming a global description by computing statistics over the image region is a well established technique in texture analysis [4]. This approach has been extended by several authors to produce rotation invariant features by transforming each local descriptor to a canonical representation invariant to rotations of the input image [2], [3], [5]. The statistics describing the whole region are then computed from these transformed local descriptors.
Even though such approaches have produced good results in rotation invariant texture classification, they have some weaknesses.Most importantly, as each local descriptor (e.g., filter bank response) is transformed to canonical representation independently, the relative distribution of different orientations is lost. Furthermore, as the transformation needs to be performed for each texton, it must be computationally simple if the overall computational cost needs to be low.
A.-B. Salberg, J.Y. Hardeberg, and R. Jenssen (Eds.): SCIA 2009, LNCS 5575, pp. 61–70, 2009. c Springer-Verlag Berlin Heidelberg 2009
In this paper, we propose novel Local Binary Pattern Histogram Fourier features (LBP-HF), a rotation invariant image descriptor based on uniform Local Binary Patterns (LBP) [2]. LBP is an operator for image description that is based on the signs of differences of neighboring pixels. It is fast to compute and invariant to monotonic gray-scale changes of the image. Despite being simple, it is very descriptive, which is attested by the wide variety of different tasks it has been successfully applied to. The LBP histogram has proven to be a widely applicable image feature for, e.g., texture classification, face analysis, video background subtraction, interest region description, etc1.
Unlike the earlier local rotation invariant features, the LBP-HF descriptor is formed by first computing a non-invariant LBP histogram over the whole region and then constructing rotationally invariant features from the histogram. This means that rotation invariance is attained globally, and the features are thus invariant to rotations of the whole input signal but they still retain information about relative distribution of different orientations of uniform local binary patterns.
2 Rotation Invariant Local Binary Pattern Descriptors
The proposed rotation invariant local binary pattern histogram Fourier features are based on uniform local binary pattern histograms. First, the LBP methodology is briefly reviewed and the LBP-HF features are then introduced.
2.1 The Local Binary Pattern Operator
The local binary pattern operator [2] is a powerful means of texture description. The original version of the operator labels the image pixels by thresholding the 3x3-neighborhood of each pixel with the center value and summing the thresholded values weighted by powers of two.
The operator can also be extended to use neighborhoods of different sizes [2] (See Fig.1). To do this, a circular neighborhood denoted by (P,R) is defined. Here P represents the number of sampling points and R is the radius of the neighborhood. These sampling points around pixel (x,y) lie at coordinates (xp,yp) = (x + Rcos(2πp/P),y − Rsin(2πp/P)). When a sampling point does not fall at integer coordinates, the pixel value is bilinearly interpolated. Now the LBP label for the center pixel (x,y) of image f(x,y) is obtained through
, (1)
where s(z) is the thresholding function
(2)

1
See LBP bibliography at http://www.ee.oulu.fi/mvg/page/lbp bibliography

Fig.1. Three circular neighborhoods: (8,1), (16,2), (24,3). The pixel values are bilinearly interpolated whenever the sampling point is not in the center of a pixel.
Further extensions to the original operator are so called uniform patterns [2]. A local binary pattern is called uniform if the binary pattern contains at most two bitwise transitions from 0 to 1 or vice versa when the bit pattern is considered circular. In the computation of the LBP histogram, uniform patterns are used so that the histogram has a separate bin for every uniform pattern and all non-uniform patterns are assigned to a single bin. The 58 possible uniform patterns in neighborhood of 8 sampling points are shown in Fig. 2.
The original rotation invariant LBP operator, denoted here as LBPriu2, is achieved by circularly rotating each bit pattern to the minimum value. For instance, the bit sequences 1000011, 1110000 and 0011100 arise from different rotations of the same local pattern and they all correspond to the normalized sequence 0000111. In Fig. 2 this means that all the patterns from one row are replaced with a single label.
2.2 Invariant Descriptors from LBP Histograms
Let us denote a specific uniform LBP pattern by UP(n,r). The pair (n,r) specifies an uniform pattern so that n is the number of 1-bits in the pattern (corresponds to row number in Fig. 2) and r is the rotation of the pattern ( column number in Fig. 2).
Now if the neighborhood has P sampling points, n gets values from 0 to P +1 , where n = P + 1 is the special label marking all the non-uniform patterns. Furthermore, when 1 ≤ n ≤ P − 1, the rotation of the pattern is in the range
0 ≤ r ≤ P
Let ) denote the rotation of image I(x,y) by α degrees. Under this rotation, point (x,y) is rotated to location ( ). If we place a circular sampling neighborhood on points I(x,y) and ), we observe that it also rotates by α◦. See Fig. 3.
If the rotations are limited to integer multiples of the angle between two sampling points, i.e. 1, this rotates the sampling neighborhood exactly by a discrete steps. Therefore the uniform pattern UP(n,r) at point (x,y) is replaced by uniform pattern UP(n,r+a mod P) at point ( of the rotated image.
Now consider the uniform LBP histograms hI(UP(n,r)). The histogram value hI at bin UP(n,r) is the number of occurrences of uniform pattern UP(n,r) in image I.

Fig.2. The 58 different uniform patterns in (8,R) neighborhood
.
If the image I is rotated by , based on the reasoning above, this rotation of the input image causes a cyclic shift in the histogram along each of the rows,
hIα◦(UP(n,r + a)) = hI(UP(n,r)) (3)
For example, in the case of 8 neighbor LBP, when the input image is rotated by 45◦, the value from histogram bin U8(1,0) = 000000001b moves to bin U8(1,1) = 00000010b, value from bin U8(1,1) to bin U8(1,2), etc.
Based on the property, which states that rotations induce shift in the polar representation (P,R) of the neighborhood, we propose a class of features that are invariant to rotation of the input image, namely such features, computed along the input histogram rows, that are invariant to cyclic shifts.
We use the Discrete Fourier Transform to construct these features. Let H(n,•) be the DFT of nth row of the histogram hI(UP(n,r)), i.e.
. (4)
Now for DFT it holds that a cyclic shift of the input vector causes a phase shift in the DFT coefficients. If )), then
, (5)


Fig.3. Effect of image rotation on points in circular neighborhoods
and therefore, with any 1 ≤ n1,n2 ≤ P − 1 ,

where ) denotes the complex conjugate of H(n2,u).
This shows that with any 1 ≤ n1,n2 ≤ P −1 and 0 ≤ u ≤ P −1, the features
LBP , (7)
are invariant to cyclic shifts of the rows of hI(UP(n,r)) and consequently, they are invariant also to rotations of the input image I(x,y). The Fourier magnitude spectrum

Fig.4. 1st column: Texture image at orientations 0◦ and 90◦. 2nd column: bins 1 – 56 of the corresponding LBPu2 histograms. 3rd column: Rotation invariant features |H(n,u)|,1 ≤ n ≤ 7,0 ≤ u ≤ 5, (solid line) and LBPriu2 (circles, dashed line). Note that the LBPu2 histograms for the two images are markedly different, but the |H(n,u)| features are nearly equal.
) (8)
can be considered a special case of these features. Furthermore it should be noted that the Fourier magnitude spectrum contains LBPriu2 features as a subset, since
. (9)
An illustration of these features is in Fig. 4
3 Experiments
We tested the performance of the proposed descriptor in three different scenarios: texture classification, material categorization and face description. The proposed rotation invariant LBP-HF features were compared against non-invariant LBPu2 and the older rotation invariant version LBPriu2. In the texture classification and material categorization experiments, the MR8 descriptor [3] was used as an

Kết quả (Việt) 1:

Xoay bất biến hình ảnh mô tả với tính năng Fourier địa phương nhị phân mẫu biểu đồTimo Ahonen1, Jiˇr´ı Matas2, Chu He3, 1, và Matti Pietik¨ainen11Máy tính tầm nhìn nhóm, University of Oulu, Phần Lan{tahonen,mkp}@ee.oulu.fi2Trung tâm máy Percpetion, Phòng điều khiển học,Các giảng viên của ELEC Eng., đại học kỹ thuật Séc tại Praha [e-mail]3Trường học điện tử thông tin, đại học Vũ Hán, Trung Quốc PR [e-mail]óm tắt. Trong bài này, chúng tôi đề xuất tính năng địa phương nhị phân mẫu biểu đồ Fourier (LBP-HF), một tiểu thuyết xoay bất biến hình ảnh mô tả tính từ biến đổi Fourier rời rạc của các mô hình nhị phân địa phương (LBP) histograms. Không giống như hầu hết các biểu đồ dựa bất biến kết cấu descriptor mà bình thường hóa quay tại địa phương, đề xuất invariants được xây dựng trên toàn cầu cho toàn bộ các khu vực để được mô tả. Ngoài việc luân chuyển bất biến, các tính năng LBP-HF giữ lại bản chất rất discriminative của LBP histograms. Trong các thí nghiệm, nó hiển thị các tính năng tốt hơn phiên bản phòng không phải là bất biến và trước đó quay bất biến LBP, mô tả MR8 trong phân loại kết cấu và vật liệu phân loại và khuôn mặt công nhận bài kiểm tra.1 giới thiệuXoay bất biến kết cấu phân tích là một nghiên cứu rộng rãi vấn đề [1], [2], [3]. Nó nhằm mục đích cung cấp với các tính năng kết cấu là bất biến để xoay góc của hình ảnh đầu vào kết cấu. Hơn nữa, các tính năng này nên thường được mạnh mẽ cũng để điều kiện hình thành hình ảnh như thay đổi chiếu sáng.Mô tả sự xuất hiện tại địa phương, ví dụ, bằng cách sử dụng đồng lần xuất hiện của các giá trị màu xám hoặc với bộ lọc ngân hàng hồi đáp và sau đó hình thành một mô tả toàn cầu bởi máy tính thống kê trên khu vực hình ảnh là một kỹ thuật cũng được thành lập trong kết cấu phân tích [4]. Cách tiếp cận này đã được mở rộng bởi nhiều tác gia để sản xuất tính năng bất biến xoay bằng cách chuyển đổi mỗi mô tả địa phương để một đại diện kinh điển bất biến với sự quay của hình ảnh nhập vào [2], [3], [5]. Thống kê mô tả toàn bộ khu vực sau đó được tính toán từ các descriptor chuyển địa phương.Mặc dù phương pháp tiếp cận như vậy đã sản xuất các kết quả tốt trong xoay bất biến kết cấu phân loại, họ có một số điểm yếu. Quan trọng nhất, như mỗi mô tả địa phương (ví dụ, là phản ứng lọc ngân hàng) được chuyển đến kinh điển đại diện một cách độc lập, bản phân phối tương đối của định hướng khác nhau là bị mất. Hơn nữa, như sự chuyển đổi cần phải được thực hiện cho mỗi texton, nó phải computationally đơn giản nếu chi phí tổng thể tính toán cần phải được thấp.A. B. Salberg, J.Y. Hardeberg, và R. Jenssen (chủ biên): SCIA 2009, LNCS 5575, trang 61-70, năm 2009. c Springer-Verlag Berlin Heidelberg năm 2009Trong bài này, chúng tôi đề xuất tính năng địa phương nhị phân mẫu biểu đồ Fourier mới lạ (LBP-HF), một mô tả bất biến hình ảnh quay dựa trên trang phục địa phương nhị phân mẫu (LBP) [2]. LBP là một nhà điều hành để mô tả hình ảnh dựa trên các dấu hiệu của sự khác biệt của giáp ranh pixel. Nó là nhanh chóng để tính toán và bất biến để thay đổi màu xám quy mô monotonic của hình ảnh. Dù đã được đơn giản, nó là rất mô tả, mà được chứng thực bởi sự đa dạng trong nhiệm vụ khác nhau nó đã được áp dụng thành công cho. Biểu đồ LBP đã chứng minh là một tính năng rộng rãi áp dụng hình ảnh cho, ví dụ, kết cấu phân loại, phân tích khuôn mặt, video nền trừ, quan tâm đến vùng mô tả, etc1.Không giống như các tính năng trước đó bất biến địa phương xoay, mô tả LBP-HF được hình thành bởi lần đầu tiên tính toán một biểu đồ LBP phòng không phải là bất biến trong toàn bộ khu vực và sau đó xây dựng các tính năng rotationally bất biến từ biểu đồ. Điều này có nghĩa rằng quay định đạt được trên toàn cầu, và các tính năng như vậy là bất biến với sự quay của tín hiệu đầu vào toàn bộ nhưng họ vẫn còn giữ lại các thông tin về các phân phối tương đối của các định hướng khác nhau của trang phục mô hình địa phương nhị phân.2 xoay bất biến mô hình địa phương nhị phân bộ mô tảCác biểu đồ bất biến mô hình địa phương nhị phân quay được đề xuất tính năng Fourier được dựa trên trang phục mô hình địa phương nhị phân histograms. Trước tiên, các phương pháp LBP một thời gian ngắn được nhận xét và tính năng LBP-HF được giới thiệu sau đó.2.1 các nhà điều hành địa phương nhị phân mẫuCác nhà điều hành địa phương nhị phân mẫu [2] là một phương tiện mạnh mẽ của kết cấu mô tả. Phiên bản gốc của các nhà điều hành nhãn hình ảnh điểm ảnh bởi thresholding khu phố 3 x 3 của mỗi điểm ảnh với giá trị Trung tâm và cách tổng hợp các giá trị thresholded trọng bởi các quyền hạn của hai.Các nhà điều hành cũng có thể được mở rộng để sử dụng vùng lân cận của các kích cỡ khác nhau [2] (xem Fig.1). Để làm điều này, một khu phố tròn ký hiệu là (P, R) được định nghĩa. Ở đây đại diện cho số lượng mẫu điểm P và R là bán kính của khu phố. Những điểm lấy mẫu xung quanh thành phố pixel (x, y) nằm ở tọa độ (xp, yp) = (x + Rcos(2πp/P), y − Rsin(2πp/P)). Khi nhiệt độ Lấy mẫu không nằm tại tọa độ nguyên, giá trị pixel bilinearly interpolated. Bây giờ nhãn LBP cho Trung tâm pixel (x, y) của hình ảnh f(x,y) thu được thông qua , (1)nơi s(z) là các chức năng thresholding (2) 1Xem LBP tài liệu tại thư mục http://www.ee.oulu.fi/mvg/page/lbp Fig.1. ba thông tư khu dân cư: (8,1), (16,2), (24,3). Các giá trị điểm ảnh bilinearly được interpolated bất cứ khi nào điểm lấy mẫu không phải là ở giữa của một điểm ảnh.Tiện ích mở rộng hơn nữa để các nhà điều hành ban đầu vì vậy được gọi là mô hình thống nhất [2]. Một mô hình nhị phân địa phương được gọi là thống nhất nếu các mô hình nhị phân có chứa tối đa hai bitwise quá trình chuyển đổi từ 0 đến 1 hoặc ngược khi các mô hình bit được xem là tròn. Trong tính toán của biểu đồ LBP, trang phục mô hình được sử dụng do đó biểu đồ có một thùng riêng biệt cho mỗi mô hình thống nhất và tất cả các mẫu trang phục phòng không được gán cho một thùng duy nhất. 58 mẫu có thể thống nhất trong khu phố của 8 mẫu điểm được minh họa trong hình 2.Các bản gốc quay vòng bất biến LBP nhà điều hành, biểu hiện ở đây là LBPriu2, đạt được bằng cách tròn xoay mỗi mô hình bit đến giá trị tối thiểu. Ví dụ, các chuỗi chút 1000011, 1110000 và 0011100 phát sinh từ các phép quay khác nhau của cùng một khuôn mẫu địa phương và tất cả đều tương ứng với trình tự bình thường 0000111. Trong hình 2, điều này có nghĩa rằng tất cả các mô hình từ một hàng được thay thế bằng một nhãn duy nhất.2.2 bộ mô tả bất biến từ LBP HistogramsHãy để chúng tôi biểu thị một mô hình cụ thể trang phục LBP bởi UP(n,r). Cặp (n, r) chỉ định một mô hình thống nhất do đó n là số 1-bit trong các mô hình (tương ứng với số hàng trong hình 2) và r là sự quay của các mô hình (cột số ở hình 2).Bây giờ nếu khu phố có điểm P mẫu, n được giá trị từ 0 đến P + 1, trong trường hợp n = P + 1 là nhãn hiệu đặc biệt đánh dấu tất cả các mô hình phòng không đồng phục. Hơn nữa, khi 1 ≤ n ≤ P − 1, sự quay của các mô hình là trong phạm vi0 ≤ r ≤ PHãy để) biểu thị sự quay của hình ảnh I(x,y) α độ. Theo chuyển động này, điểm (x, y) quay theo vị trí (). Nếu chúng tôi đặt một khu phố tròn mẫu vào điểm I(x,y) và), chúng tôi quan sát rằng nó cũng quay bởi α◦. Xem hình 3.Nếu các phép quay được giới hạn đối với số nguyên bội số của góc giữa hai điểm lấy mẫu, tức là 1, điều này quay khu phố mẫu chính xác bởi một bước rời rạc. Do đó các mô hình thống nhất UP(n,r) tại điểm (x, y) được thay thế bằng trang phục mô hình lập (n, r + một mod P) tại điểm (của xoay ảnh.Bây giờ hãy xem xét đồng phục LBP histograms hI(UP(n,r)). Biểu đồ giá trị chào tại bin UP(n,r) là số lần xuất hiện của mô hình thống nhất UP(n,r) trong hình ảnh tôi. Fig.2. The 58 mẫu khác nhau thống nhất trong (8, R) khu phố.Nếu hình ảnh tôi được quay bởi, dựa trên lý luận ở trên, chuyển động của hình ảnh nhập vào này gây ra một sự thay đổi nhóm cyclic trong biểu đồ dọc theo mỗi hàng,hIα◦ (lập (n, r + một)) = hI(UP(n,r)) (3)Ví dụ, trong trường hợp của người hàng xóm 8 LBP, khi hình ảnh nhập vào được quay bởi 45◦, các giá trị từ biểu đồ bin U8(1,0) = 000000001b di chuyển đến bin U8(1,1) = 00000010b, giá trị từ bin U8(1,1) bin U8(1,2), vv.Dựa trên tài sản, mà biểu rằng phép quay gây ra sự thay đổi trong các đại diện cực (P, R) của các khu phố, chúng tôi đề xuất một lớp các tính năng đó là bất biến để chuyển động của hình ảnh nhập vào, cụ thể là các tính năng, tính dọc theo dòng đầu vào biểu đồ, mà là bất biến để thay đổi nhóm cyclic.Chúng tôi sử dụng biến đổi Fourier rời rạc để xây dựng các tính năng này. Để H(n,•) là DFT của hàng thứ n của biểu đồ hI(UP(n,r)), tức là . (4)Bây giờ cho DFT nó giữ rằng một sự thay đổi nhóm cyclic của vector đầu vào gây ra một sự thay đổi giai đoạn trong hệ số DFT. If)), sau đó , (5) Fig.3. hiệu ứng hình ảnh quay trên điểm trong khu vực lân cận thông tưvà do đó, với bất kỳ n1 ≤ 1, n2 ≤ P − 1, nơi) là bắt liên hợp phức tạp của H(n2,u).Điều này cho thấy rằng với bất kỳ n1 ≤ 1, n2 ≤ P −1, 0 ≤ u ≤ P −1, các tính năngLBP, (7)là bất biến để thay đổi nhóm cyclic của các hàng của hI(UP(n,r)) và kết quả là, họ là bất biến cũng với sự quay của hình ảnh nhập vào I(x,y). Quang phổ cấp sao biểu kiến Fourier Fig.4. 1 cột: kết cấu hình ảnh ở định hướng 0◦ và 90◦. 2 cột: thùng 1-56 trên tổng histograms LBPu2 tương ứng. 3 cột: xoay bất biến tính năng | H (n, u) |, 1 ≤ n ≤ 7,0 ≤ u ≤ 5, (rắn dòng) và LBPriu2 (vòng tròn, dòng tiêu tan). Lưu ý rằng các histograms LBPu2 cho hai hình ảnh khác nhau rõ rệt, nhưng các | H (n, u) | tính năng là gần như bằng nhau. ) (8)có thể được coi là một trường hợp đặc biệt của các tính năng này. Hơn nữa nó cần lưu ý rằng quang phổ cấp sao biểu kiến Fourier có chứa LBPriu2 tính năng như là một tập hợp con, kể từ khi . (9)Một minh hoạ của các tính năng này là trong hình 43 thí nghiệmChúng tôi kiểm tra hiệu suất của mô tả được đề xuất trong ba trường hợp khác nhau: phân loại kết cấu, tài liệu mô tả phân loại và khuôn mặt. Các tính năng được đề xuất xoay LBP-HF bất biến đã được so sánh với phòng không phải là bất biến LBPu2 và xoay bất biến phiên bản cũ LBPriu2. Trong phân loại kết cấu và vật liệu loại thí nghiệm, mô tả MR8 [3] đã được sử dụng như là một

Kết quả (Việt) 2:

Rotation Bất Biến Hình ảnh Mô tả với Local Binary Pattern Histogram Fourier Điểm
Timo Ahonen1, Jir'ı Matas2, Chu He3,1, và Matti Pietik¨ainen1
1
Machine Vision Group, Đại học Oulu, Phần Lan
{tahonen, MKP} @ ee.oulu.fi
2
Trung tâm Máy Percpetion, Bộ môn Điều khiển học,
Khoa Elec. Eng., Đại học Kỹ thuật Séc tại Prague [e-mail]
3
Trường Thông tin điện tử, Đại học Vũ Hán, Trung Quốc [e-mail]
Tóm tắt. Trong bài báo này, chúng tôi đề xuất tính năng Local Binary Pattern Histogram Fourier (LBP-HF), một cuốn tiểu thuyết xoay ảnh bất biến mô tả tính từ biến đổi Fourier rời rạc của mô hình nhị phân địa phương (LBP) biểu đồ. Không giống như hầu hết các biểu đồ dựa trên mô tả kết cấu bất biến khác mà bình thường hóa luân chuyển tại địa phương, các bất biến đề xuất được xây dựng trên toàn cầu cho toàn bộ khu vực được mô tả. Ngoài việc là vòng xoay bất biến, tính năng LBP-HF giữ lại tính chất cao phân biệt của biểu đồ LBP. Trong các thí nghiệm, người ta thấy những tính năng tốt hơn không bất biến và phiên bản trước đó xoay LBP bất biến và mô tả các MR8 trong phân loại kết cấu, phân loại và nhận dạng khuôn mặt kiểm tra vật liệu.
1 Giới thiệu
Rotation phân tích kết cấu bất biến là một vấn đề nghiên cứu rộng rãi [1] , [2], [3]. Nó nhằm mục đích cung cấp với các tính năng kết cấu đó là bất biến để góc quay của hình ảnh kết cấu đầu vào. Hơn nữa, các tính năng thông thường nên cũng mạnh mẽ với các điều kiện hình ảnh như thay đổi ánh sáng.
Khi mô tả sự xuất hiện tại địa phương, ví dụ, bằng cách sử dụng đồng lần xuất hiện của các giá trị màu xám hoặc phản ứng với ngân hàng bộ lọc và sau đó hình thành một mô tả toàn cầu bằng cách tính toán thống kê trên khu vực ảnh là một kỹ thuật cũng được thành lập trong kết cấu phân tích [4]. Cách tiếp cận này đã được mở rộng bởi một số tác giả để sản xuất các tính năng xoay bất biến bằng cách chuyển đổi mô tả từng địa phương để một đại diện bất biến kinh điển để quay các hình ảnh đầu vào [2], [3], [5]. Các số liệu thống kê mô tả toàn bộ khu vực sau đó được tính từ các địa phương chuyển đổi mô tả.
Mặc dù cách tiếp cận như vậy đã tạo ra kết quả tốt trong vòng quay bất biến phân loại kết cấu, họ có một số weaknesses.Most quan trọng, như mô tả mỗi địa phương (ví dụ, phản ứng của ngân hàng lọc) được chuyển để đại diện kinh điển một cách độc lập, sự phân bố tương đối của các hướng khác nhau là bị mất. Hơn nữa, như việc chuyển đổi cần phải được thực hiện cho từng texton, nó phải được tính toán đơn giản, nếu các chi phí tính toán tổng thể cần phải được thấp.
A.-B. Salberg, JY Hardeberg, và R. Jenssen (Eds.):. SCIA 2009, LNCS 5575, pp 61-70, 2009. c Springer-Verlag Berlin Heidelberg 2009
Trong bài báo này, chúng tôi đề xuất mới Pattern Binary tính năng Histogram Fourier địa phương (LBP -HF), một vòng quay bất biến hình ảnh mô tả dựa trên thống nhất mẫu nhị phân cục bộ (LBP) [2]. LBP là một nhà điều hành để mô tả hình ảnh đó là dựa trên các dấu hiệu của sự khác nhau của các điểm ảnh lân cận. Đó là nhanh chóng để tính toán và bất biến để thay đổi độ xám đơn điệu của hình ảnh. Mặc dù là đơn giản, nó là rất mô tả, được chứng thực bởi các nhiều loại nhiệm vụ khác nhau nó đã được áp dụng thành công. Các biểu đồ LBP đã được chứng minh là một tính năng hình ảnh được áp dụng rộng rãi cho, ví dụ, phân loại kết cấu, phân tích khuôn mặt, nền Video trừ, mô tả khu vực quan tâm, etc1.
Không giống như các tính năng xoay bất biến địa phương trước đó, các mô tả LBP-HF được hình thành bởi tính đầu tiên một biểu đồ LBP không bất biến trên toàn bộ khu vực và sau đó xây dựng các tính năng luân phiên bất biến từ biểu đồ. Điều này có nghĩa là vòng xoay bất biến là đạt được trên toàn cầu, và các tính năng là như vậy, bất biến đối với phép quay của tín hiệu đầu vào toàn bộ nhưng họ vẫn giữ lại các thông tin về phân bố tương đối định hướng khác nhau của mô hình nhị phân địa phương thống nhất.
2 Rotation bất biến Pattern Binary địa phương mô tả
Vòng xoay đề xuất bất biến tính năng mô hình biểu đồ nhị phân Fourier địa phương dựa trên thống nhất biểu đồ mô hình nhị phân của địa phương. Đầu tiên, các phương pháp LBP được xem xét ngắn gọn và các tính năng LBP-HF sau đó được giới thiệu.
2.1 The Local Binary Pattern Operator
Nhà điều hành mô hình nhị phân địa phương [2] là một phương tiện mạnh mẽ của mô tả kết cấu. Phiên bản gốc của các nhà điều hành nhãn pixel hình ảnh bởi ngưỡng những 3x3-khu phố của mỗi điểm ảnh với giá trị trung tâm và cách tổng hợp các giá trị thresholded trọng bởi quyền hạn của hai người.
Các nhà điều hành cũng có thể được mở rộng để sử dụng các khu phố của các kích cỡ khác nhau [2] ( Xem hình 1). Để làm điều này, một khu phố tròn ký hiệu là (P, R) được định nghĩa. Ở đây P đại diện cho số điểm lấy mẫu và R là bán kính của khu phố. Những điểm lấy mẫu trên điểm ảnh (x, y) nằm ở tọa độ (xp, yp) = (x + Rcos (2πp / P), y - Rsin (2πp / P)). Khi một điểm lấy mẫu không nằm ở tọa độ số nguyên, giá trị điểm ảnh được bilinearly nội suy. Bây giờ các nhãn LBP cho các điểm ảnh trung tâm (x, y) của ảnh f (x, y) là thu được thông qua
, (1)
trong đó s (z) là hàm ngưỡng
(2) 1 Xem LBP bibliography tại http: // www .ee.oulu.fi / MVG / trang / LBP bibliography Hình 1. Ba khu phố tròn: (8,1), (16,2), (24,3). Các giá trị điểm ảnh được bilinearly suy bất cứ khi nào các điểm lấy mẫu không phải là ở trung tâm của một điểm ảnh. Mở rộng thêm cho các nhà điều hành ban đầu như vậy gọi là mô hình thống nhất [2]. Một mô hình nhị phân địa phương được gọi là đồng nhất nếu các mô hình nhị phân chứa ít nhất hai chuyển bitwise 0-1 hoặc ngược lại khi các mẫu bit được coi là hình tròn. Trong tính toán của biểu đồ LBP, mẫu đồng phục được sử dụng để biểu đồ có một thùng riêng biệt cho mỗi mẫu đồng phục và tất cả các mẫu không đồng nhất được gán cho một thùng. 58 mẫu đồng phục có thể trong khu phố 8 điểm lấy mẫu được hiển thị trong hình. 2. Người điều khiển xoay LBP bất biến ban đầu, ký hiệu ở đây là LBPriu2, đạt được bằng cách xoay tròn mỗi mẫu bit với giá trị tối thiểu. Ví dụ, các bit tuần tự 1000011, 1110000 và 0011100 phát sinh từ phép quay khác nhau của các mô hình cùng một địa phương và tất cả đều tương ứng với trình tự bình thường 0000111. Trong hình. 2 điều này có nghĩa rằng tất cả các mẫu từ một hàng được thay thế bằng một nhãn hiệu duy nhất. 2.2 Descriptors bất biến từ LBP Histograms Chúng ta hãy biểu thị một mô hình thống nhất LBP cụ thể bằng UP (n, r). Các cặp (n, r) xác định một mô hình thống nhất để n là số bit 1 trong mô hình (tương ứng với số hàng trong hình. 2) và r là vòng quay của mô hình (số cột trong hình 2). . Bây giờ nếu các khu phố có P điểm lấy mẫu, n giá được giá trị từ 0 đến P 1, trong đó n = P + 1 là nhãn đặc biệt đánh dấu tất cả các mẫu không đồng nhất. Hơn nữa, khi 1 ≤ n ≤ P - 1, vòng quay của mô hình là trong khoảng 0 ≤ r ≤ P Let) biểu thị sự quay của ảnh I (x, y) bởi độ α. Theo vòng quay này, điểm (x, y) được luân chuyển đến vị trí (). Nếu chúng ta đặt một khu vực lấy mẫu tròn trên điểm I (x, y) và), chúng tôi thấy rằng nó cũng quay bởi α◦. Xem hình. 3. Nếu xoay được giới hạn bội số của góc giữa hai điểm lấy mẫu, tức là 1, điều này làm quay khu phố lấy mẫu chính xác bằng một bước rời rạc. Vì vậy, hình thống nhất UP (n, r) tại điểm (x, y) được thay thế bởi mô hình thống nhất UP (n, r + P mod) tại điểm (của hình ảnh xoay. Bây giờ xem xét LBP thống nhất biểu đồ hI (UP ( n, r)). Các giá trị hI histogram tại bin UP (n, r) là số lần xuất hiện của bộ đồng phục UP mẫu (n, r) trong hình ảnh I. Hình 2. 58 mẫu đồng phục khác nhau trong (8, R ) khu . Nếu hình ảnh tôi được quay bằng, dựa trên các lý do trên, luân chuyển này của hình ảnh đầu vào gây ra một sự thay đổi tuần hoàn trong các biểu đồ theo từng hàng, hIα◦ (UP (n, r + a)) = hI (UP (n, r)) (3) Ví dụ, trong trường hợp của 8 xóm LBP, khi hình ảnh đầu vào được quay bằng 45◦, giá trị từ biểu đồ bin U8 (1,0) = 000000001b chuyển đến bin U8 ( 1,1) = 00000010b, giá trị từ bin U8 (1,1) để bin U8 (1,2), vv Dựa trên tài sản, trong đó nói rằng luân gây ra sự thay đổi trong các đại diện cực (P, R) của khu phố , chúng tôi đề xuất một lớp học đặc trưng đó là bất biến chuyển động quay của hình ảnh đầu vào, cụ thể là các tính năng như vậy, tính theo biểu đồ hàng đầu vào, đó là bất biến để thay đổi theo chu kỳ. Chúng tôi sử dụng Discrete Fourier Transform để xây dựng các tính năng này. Hãy H (n, •) là DFT của hàng thứ n của hI histogram (UP (n, r)), tức là . (4) Bây giờ cho DFT nó cho rằng một sự thay đổi theo chu kỳ của các vector đầu vào gây ra một sự thay đổi giai đoạn trong các hệ số DFT. Nếu)), sau đó , (5) Hình 3. Ảnh hưởng của luân chuyển hình ảnh vào các điểm trong các khu phố tròn và do đó, với bất kỳ 1 ≤ n1, n2 ≤ P - 1 . nơi) biểu thị phức liên hợp của H (n2, u) Điều này cho thấy rằng với bất kỳ 1 ≤ n1, n2 ≤ P -1 và 0 ≤ u ≤ P -1, các tính năng LBP, (7) là bất biến để thay đổi theo chu kỳ của các hàng của hI (UP (n, r)) và do đó, họ là bất biến cũng phải quay của đầu vào hình ảnh tôi (x, y). Các Fourier phổ độ lớn Hình 4. Cột 1: hình ảnh Texture vào định hướng 0◦ và 90◦. Cột thứ 2: thùng 1-56 của biểu đồ LBPu2 tương ứng. Cột thứ 3: Rotation tính năng bất biến | H (n, u) |, 1 ≤ n ≤ 7,0 ≤ u ≤ 5, (đường liền) và LBPriu2 (tròn, đường nét đứt). Lưu ý rằng các biểu đồ LBPu2 cho hai hình ảnh là khác nhau rõ rệt, nhưng | H (n, u) |. Tính năng này là gần như bằng nhau ) (8) có thể được coi là một trường hợp đặc biệt của các tính năng này. Hơn nữa cũng cần lưu ý rằng quang phổ độ Fourier chứa LBPriu2 tính năng như là một tập hợp con, kể từ . (9) Một minh họa cho các tính năng này là trong hình. 4 3 thí nghiệm Chúng tôi đã thử nghiệm hiệu suất của các bộ mô tả đề xuất trong ba kịch bản khác nhau: phân loại kết cấu, vật liệu phân loại và mô tả khuôn mặt. Vòng xoay bất biến đề xuất tính năng LBP-HF được so sánh với LBPu2 không bất biến và tự quay cũ hơn phiên bản bất biến LBPriu2. Trong các thí nghiệm phân loại kết cấu và vật liệu phân loại, mô tả MR8 [3] đã được sử dụng như một