Orthogonal VectorsHow can we decide

Orthogonal Vectors
How can we decide whether two vectors x and y are perpendicular? What is the test
for orthogonality in Figure 3.2? In the plane spanned by x and y, those vectors are
orthogonal provided they form a right triangle. We go back to a
2 +b
2 = c
2
:
Sides of a right triangle kxk
2 +kyk
2 = kx−yk
2
. (2)
Applying the length formula (1), this test for orthogonality in R
n
becomes
¡
x
2
1 +···+x
2
n
¢
+
¡
y
2
1 +···+y
2
n
¢
= (x1 −y1)
2 +···+ (xn −yn)
2
.
The right-hand side has an extra −2xiyi from each (xi −yi)
2
:
right-hand side =
¡
x
2
1 +···+x
2
n
¢
−2(x1y1 +···+xnyn) +¡
y
2
1 +···+y
2
n
¢
.
3.1 Orthogonal Vectors and Subspaces 161
y =

−1
2

x =

4
2

√
25
√
20 √
5
x
Ty = 0
b
Right angle
x
Ty = 0
greater than 90°
x
Ty < 0
less than 90°
x
Ty > 0
Figure 3.2: A right triangle with 5+20 = 25. Dotted angle 100°, dashed angle 30°.
We have a right triangle when that sum of cross-product terms xiyi
is zero:
Orthogonal vectors x
T
y = x1y1 +···+xnyn = 0. (3)
This sum is x
T
y = ∑xiyi = y
T
x, the row vector x
T
times the column vector y:
Inner product x
T
y =
h
x1 ··· xn
i



y1
.
.
.
yn


 = x1y1 +···+xnyn. (4)
This number is sometimes called the scalar product or dot product, and denoted by (x,y)
or x · y. We will use the name inner product and keep the notation x
T
y.
3A The inner product x
T
y is zero if and only if x and y are orthogonal vectors.
If x
T
y > 0, their angle is less than 90°. If x
T
y < 0, their angle is greater than
90°.
The length squared is the inner product of x with itself: x
T
x = x
2
1 +···+x
2
n = kxk
2
. The
only vector with length zero—the only vector orthogonal to itself—is the zero vector.
This vector x = 0 is orthogonal to every vector in R
n
.
Example 1. (2,2,−1) is orthogonal to (−1,2,2). Both have length √
4+4+1 = 3.
Useful fact: If nonzero vectors v1,...,vk are mutually orthogonal (every vector is
perpendicular to every other), then those vectors are linearly independent.
Proof. Suppose c1v1 + ··· + ckvk = 0. To show that c1 must be zero, take the inner
product of both sides with v1. Orthogonality of the v’s leaves only one term:
v
T
1
(c1v1 +···+ckvk) = c1v
T
1
v1 = 0. (5)
The vectors are nonzero, so v
T
1
v1 6= 0 and therefore c1 = 0. The same is true of every ci
.
The only combination of the v’s producing zero has all ci = 0: independence!
The coordinate vectors e1,...,en in R
n
are the most important orthogonal vectors.
Those are the columns of the identity matrix. They form the simplest basis for R
n
, and
162 Chapter 3 Orthogonality
they are unit vectors—each has length keik = 1. They point along the coordinate axes. If
these axes are rotated, the result is a new orthonormal basis: a new system of mutually
orthogonal unit vectors. In R
2 we have cos2 θ +sin2
θ = 1:
Orthonormal vectors in R2
v1 = (cosθ,sinθ) and v2 = (−sinθ,cosθ).
Orthogonal Subspaces
We come to the orthogonality of two subspaces. Every vector in one subspace must be
orthogonal to every vector in the other subspace. Subspaces of R
3
can have dimension
0, 1, 2, or 3. The subspaces are represented by lines or planes through the origin—
and in the extreme cases, by the origin alone or the whole space. The subspace {0}
is orthogonal to all subspaces. A line can be orthogonal to another line, or it can be
orthogonal to a plane, but a plane cannot be orthogonal to a plane.
I have to admit that the front wall and side wall of a room look like perpendicular
planes in R
3
. But by our definition, that is not so! There are lines v and w in the front
and side walls that do not meet at a right angle. The line along the corner is in both
walls, and it is certainly not orthogonal to itself.
3B Two subspaces V and W of the same space R
n
are orthogonal if every
vector v in V is orthogonal to every vector w in W: v
Tw = 0 for all v and w.
Example 2. Suppose V is the plane spanned by v1 = (1,0,0,0) and v2 = (1,1,0,0). If
W is the line spanned by w = (0,0,4,5), then w is orthogonal to both v’s. The line W
will be orthogonal to the whole plane V.
In this case, with subspaces of dimension 2 and 1 in R
4
, there is room for a third
subspace. The line L through z = (0,0,5,−4) is perpendicular to V and W. Then the
dimensions add to 2+1+1 = 4. What space is perpendicular to all of V, W, and L?
The important orthogonal subspaces don’t come by accident, and they come two at
a time. In fact orthogonal subspaces are unavoidable: They are the fundamental subspaces!
The first pair is the nullspace and row space. Those are subspaces of R
n—the
rows have n components and so does the vector x in Ax = 0. We have to show, using
Ax = 0, that the rows of A are orthogonal to the nullspace vector x.
3C Fundamental theorem of orthogonality The row space is orthogonal
to the nullspace (in R
n
). The column space is orthogonal to the left nullspace
(in R
m).
First Proof. Suppose x is a vector in the nullspace. Then Ax = 0, and this system of m
3.1 Orthogonal Vectors and Subspaces 163
equations can be written out as rows of A multiplying x:
Every row is
orthogonal to x
Ax =





··· row 1 ···
··· row 2 ···
.
.
.
.
.
.
.
.
.
··· row m ···










x1
x2
.
.
.
xn





=





0
0
.
.
.
0





. (6)
The main point is already in the first equation: row 1 is orthogonal to x. Their inner
product is zero; that is equation 1. Every right-hand side is zero, so x is orthogonal to
every row. Therefore x is orthogonal to every combination of the rows. Each x in the
nullspace is orthogonal to each vector in the row space, so N(A)⊥C(A
T
).
The other pair of orthogonal subspaces comes from A
T
y = 0, or y
TA = 0:
y
TA =
h
y1 ··· ym
i








c c
o o
l l
u ··· u
m m
n n
1 n








=
h
0 ··· 0
i
. (7)
The vector y is orthogonal to every column. The equation says so, from the zeros on
the right-hand side. Therefore y is orthogonal to every combination of the columns.
It is orthogonal to the column space, and it is a typical vector in the left nullspace:
N(A
T
)⊥C(A). This is the same as the first half of the theorem, with A replaced by
A
T
.
Second Proof. The contrast with this “coordinate-free proof” should be useful to the
reader. It shows a more “abstract” method of reasoning. I wish I knew which proof is
clearer, and more permanently understood.
If x is in the nullspace then Ax = 0. If v is in the row space, it is a combination of the
rows: v = A
T
z for some vector z. Now, in one line:
Nullspace ⊥ Row space v
T
x = (A
T
z)
T
x = z
TAx = z
T
0 = 0. (8)
Example 3. Suppose A has rank 1, so its row space and column space are lines:
Rank-1 matrix A =



1 3
2 6
3 9


.
The rows are multiples of (1,3). The nullspace contains x = (−3,1), which is orthogonal
to all the rows. The nullspace and row space are perpendicular lines in R
2
:
h
1 3i
"
3
−1
#
= 0 and h
2 6i
"
3
−1
#
= 0 and h
3 9i
"
3
−1
#
= 0.
164 Chapter 3 Orthogonality
In contrast, the other two subspaces are in R
3
. The column space is the line through
(1,2,3). The left nullspace must be the perpendicular plane y1 + 2y2 + 3y3 = 0. That
equation is exactly the content of y
TA = 0.
The first two subspaces (the two lines) had dimensions 1+1 = 2 in the space R
2
. The
second pair (line and plane) had dimensions 1+2 = 3 in the space R
3
. In general, the
row space and nullspace have dimensions that add to r + (n − r) = n. The other pair
adds to r + (m−r) = m. Something more than orthogonality is occurring, and I have to
ask your patience about that one further point: the dimensions.
It is certainly true that the null space is perpendicular to the row space—but it is not
the whole truth. N(A) contains every vector orthogonal to the row space. The nullspace
was formed from all solutions to Ax = 0.
Definition. Given a subspace V of R
n
, the space of all vectors orthogonal to V is called
the orthogonal complement of V. It is denoted by V
⊥ = “V perp.”
Using this terminology, the nullspace is the orthogonal complement of the row space:
N(A) = (C(A
T
))⊥. At the same time, the row space contains all vectors that are orthogonal
to the nullspace. A vector z can’t be orthogonal to the nullspace but outside the row
space. Adding z as an extra row of A would enlarge the row space, but we know that
there is a fixed formula r + (n−r) = n:
Dimension formula dim(row space)+dim(nullspace) = number of columns.
Every vector orthogonal to the nullspace is in the row space: C(A
T
) = (N(A))⊥.
The same reasoning applied to A
T produces the dual result: The left nullspace N(A
T
)
and the column space C(A) are orthogonal complements. Their dimensions add up to
(m − r) + r = m, This completes the second half of the fundamental theorem of linear
algebra. The first half gave the dimensions of the four subspaces. including the fact that
row rank = column rank. Now we know that those subspaces are perpendicular. More
than that, the subspaces are orthogonal complements.
3D Fundamental Theorem of Linear Algebra, Part II
The nullspace is the orthogonal complement of the row space in R
n
.
The left nullspace is the orthogonal complement of the column space in R
m.
To repeat, the row space contains everything orthogonal to the nullspace. The column
space contains everything orthogonal to the left nullspace. That is just a sentence, hidden
in the middle of the book, but it decides exactly which equations can be solved! Looked
at directly, Ax = b requires b to be in the column space. Looked at indirectly. Ax = b
requires b to be perpendicular to the left nullspace.
3E Ax = b is solvable if and only if y
Tb = 0 whenever y
TA = 0.
3.1 Orthogonal Vectors and Subspaces 165
The direct approach was “b must be a combination of the columns.” The indirect approach
is “b must be orthogonal to every vector that is orthogonal to the columns.” That
doesn’t sound like an improvement (to put it mildly). But if only one or two vectors
are orthogonal to the columns. it is

Kết quả (Việt) 1:

Vectơ trực giaoLàm thế nào chúng tôi có thể quyết định cho dù hai vectơ x và y được vuông góc? Các thử nghiệm là gìcho orthogonality trong hình 3.2? Trong mặt phẳng kéo dài bởi x và y, các vectortrực giao cung cấp chúng tạo thành một tam giác bên phải. Chúng tôi trở lại một2 + b2 = c2:Mặt của một tam giác bên phải kxk2 + kyk2 = kx−yk2. (2)Áp dụng công thức chiều dài (1), bài kiểm tra này cho orthogonality trong Rntrở thành¡x21 +··· + x2n¢+¡y21 +··· + y2n¢= (x 1 −y1)2 +··· + (xn −yn)2.Bên phải có một −2xiyi phụ từ mỗi xi (−yi)2:bên phải =¡x21 +··· + x2n¢−2(x1y1 +··· + xnyn) + 』y21 +··· + y2n¢.3.1 vectơ trực giao và Subspaces 161y =−12x =42√25√20 √5xTy = 0bGóc bên phảixTy = 0lớn hơn 90°xTy < 0ít hơn 90°xTy > 0Con số 3.2: Một tam giác bên phải với 5 + 20 = 25. Chấm góc 100°, tiêu tan góc 30°.Chúng tôi có một tam giác bên phải khi đó tổng của cross-sản phẩm điều khoản xiyilà số không:Trực giao vectơ xTy = x1y1 + ··· + xnyn = 0. (3)Số tiền này là xTy = ∑xiyi = yTx, véc tơ hàng xTlần y: vector cộtBên trong sản phẩm xTy =hx 1 ··· XNtôiy1...yn = x1y1 + ··· + xnyn. (4)Con số này đôi khi được gọi là vô sản phẩm hoặc dấu chấm sản phẩm, và biểu hiện bằng (x, y)hoặc x · y. chúng tôi sẽ sử dụng các sản phẩm nội tên và giữ các ký hiệu xTy.3A sản phẩm nội xTy là 0 nếu và chỉ nếu x và y là trực giao vectơ.Nếu xTy > 0, góc của họ là ít hơn 90°. Nếu xTy < 0, góc của họ là lớn hơn90°.Chiều dài bình phương là sản phẩm bên trong của x với chính nó: xTx = x21 +··· + x2n = kxk2. Cácchỉ vector với độ dài 0 — các véc tơ duy nhất trực giao cho chính nó — là vector không.Này vectơ x = 0 là vuông góc để mỗi vector trong Rn.Ví dụ 1. (2,2, −1) là vuông góc để (−1, 2, 2). Cả hai đều có chiều dài √4 + 4 + 1 = 3.Hữu ích thực tế: nếu nonzero vectơ v1,..., vk hai bên trực giao (mỗi vector làvuông góc với tất cả các khác), sau đó các vectơ là tuyến tính độc lập.Bằng chứng. Giả sử c1v1 + ··· + ckvk = 0. Để hiển thị rằng c1 phải là số không, đi bên trongsản phẩm của cả hai bên với v1. Orthogonality của các lá chỉ có một thuật ngữ:vT1(c1v1 + ··· + ckvk) = c1vT1v1 = 0. (5)Các vectơ được nonzero, vì vậy vT1v1 6 = 0 và do đó c1 = 0. Đó là sự thật của mỗi ci.Sự kết hợp duy nhất của của sản xuất zero có tất cả ci = 0: độc lập!Phối hợp vector e1,..., en trong Rnlà các vectơ trực giao quan trọng nhất.Đó là các cột của ma trận danh tính. Chúng tạo thành nền tảng đơn giản cho Rn, và162 chương 3 Orthogonalityhọ là đơn vị vectơ — mỗi có chiều dài keik = 1. Họ chỉ dọc theo các trục tọa độ. Nếucác trục được quay theo, kết quả là một cơ sở hệ mới: một hệ thống mới của cả hai bênCác đơn vị trực giao vectơ. Trong R2 chúng tôi đã cos2 i + sin2Θ = 1:Hệ vectơ trong R2v1 = (cosθ, sinθ) và v2 = (−sinθ, cosθ).Trực giao SubspacesChúng tôi đến để orthogonality hai subspaces. Mỗi vector trong một con phảivuông góc để mỗi vector trong con khác. Subspaces của R3có thể có kích thước0, 1, 2 hoặc 3. Những subspaces được đại diện bởi dòng hoặc máy bay thông qua nguồn gốc-và trong các trường hợp cực đoan, bởi nguồn gốc một mình hoặc toàn bộ không gian. Con {0}là vuông góc với tất cả subspaces. Một dòng có thể được trực giao cho một dòng, hoặc nó có thểvuông góc để máy bay, nhưng một máy bay không thể được trực giao cho một máy bay.Tôi đã phải thừa nhận rằng các bức tường phía trước và tường bên của một căn phòng trông giống như vuông gócchiếc máy bay trong R3. Nhưng theo định nghĩa của chúng tôi, đó không phải là vì vậy! Có những dòng v và w ở phía trướcvà tường bên không gặp nhau tại một góc bên phải. Dòng dọc theo góc là trong cả haibức tường, và nó chắc chắn không phải là trực giao cho chính nó.3B hai subspaces V và W của cùng một không gian Rnđược trực giao nếu mỗivectơ v trong V là trực giao cho mọi véc tơ w trong W: vTW = 0 cho tất cả các v và w.Ví dụ 2. Giả sử V là máy bay kéo dài bởi v1 = (1,0,0,0) và v2 = (1,1,0,0). NếuW là dòng kéo dài của w = (0,0,4,5), sau đó w là trực giao của cả hai Dòng Wsẽ được vuông góc với mặt phẳng toàn bộ V.Trong trường hợp này, với subspaces của kích thước 2 và 1 trong R4, không có chỗ cho một phần bacon. Dòng L thông qua z = (0,0,5, −4) là vuông góc với V và W. Sau đó, cácKích thước thêm vào 2 + 1 + 1 = 4. Không gian những gì là vuông góc với tất cả V, W, và L?Subspaces vuông góc quan trọng đừng do tai nạn, và họ đến hai tạimột thời gian. Trong thực tế trực giao subspaces là không thể tránh khỏi: họ là subspaces cơ bản!Các cặp đầu tiên là nullspace và hàng không gian. Đó là subspaces của Rn-cáchàng có n thành phần và do đó vectơ x trong Ax = 0. Chúng ta phải hiển thị, sử dụngAx = 0, các hàng của A được trực giao cho nullspace vector x.Định lý cơ bản 3C của orthogonality không gian hàng là trực giaođể nullspace (trong Rn). Không gian cột là vuông góc để trái nullspace(trong Rm).Chứng minh đầu tiên. Giả sử x là một vector trong nullspace. Sau đó Ax = 0, và hệ thống này của m3.1 vectơ trực giao và Subspaces 163phương trình có thể được viết dưới dạng hàng của một x: nhânMỗi hàng làtrực giao cho xAx =··· dòng 1 ······ Row 2 ···.........··· hàng m ···x 1x 2...XN=00...0. (6)Điểm chính là đã có trong phương trình đầu tiên: dòng 1 là trực giao cho x. Bên trong của họsản phẩm là zero; đó là phương trình 1. Mỗi bên là zero, do đó, x là trực giao đểmỗi hàng. Do đó x là trực giao cho mỗi sự kết hợp của các hàng. Mỗi x trong cácnullspace là vuông góc để mỗi vector trong không gian hàng, rất N (A) ⊥C (AT).Các cặp khác của trực giao subspaces đến từ ATy = 0, hoặc yTA = 0:yTA =hy1 ··· YMtôic co ol lu ··· um mn n1 n=h0 ··· 0tôi. (7)Vector y là vuông góc để mỗi cột. Phương trình nói như vậy, từ Zerobên phải. Do đó y là trực giao cho mỗi sự kết hợp của các cột.Nó là trực giao to vũ trụ cột, và nó là một vector điển hình trong nullspace trái:N (AT) ⊥C(A). Điều này giống như một nửa đầu tiên của định lý, với A thay thế bằngAT.Bằng chứng thứ hai. Sự tương phản với điều này "tọa độ miễn phí bằng chứng" nên được hữu ích cho cácđọc. Nó cho thấy một phương pháp "trừu tượng" hơn của lý luận. Tôi muốn tôi biết bằng chứng đó làrõ ràng hơn, và hiểu rõ hơn vĩnh viễn.Nếu x là trong nullspace sau đó Ax = 0. Nếu v là trong không gian hàng, nó là một sự kết hợp của cáchàng: v = ATz cho một số z véc tơ. Bây giờ, trong một dòng:Nullspace ⊥ hàng space vTx = (ATz)Tx = zThuế = zT0 = 0. (8)Ví dụ 3. Giả sử A có cấp bậc 1, do đó, các không gian hàng và cột space là dòng:Ma trận đánh giá-1 A =1 32 63 9.Các hàng là bội số của (1,3). Nullspace chứa x = (−3, 1), đó là trực giaođể tất cả các hàng. Nullspace và hàng không gian là dòng vuông góc trong R2:h1 3i"3−1#= 0 và h2 6i"3−1#= 0 và h3 9i"3−1#= 0.164 chương 3 OrthogonalityNgược lại, hai subspaces nằm trong R3. Không gian cột là dòng qua(1,2,3). nullspace trái phải là vuông góc máy bay y1 + 2y2 + 3y3 = 0. Rằngphương trình là chính xác nội dung của yTA = 0.Lần đầu tiên hai subspaces (hai dòng) có kích thước 1 + 1 = 2 trong không gian R2. Cáccặp thứ hai (dòng và máy bay) có kích thước 1 + 2 = 3 trong không gian R3. Nói chung, cáckhông gian hàng và nullspace có kích thước thêm để r + (n − r) = n. Các cặp khácThêm vào r + (m−r) = m. một cái gì đó nhiều hơn orthogonality là xảy ra, và tôi có thểyêu cầu sự kiên nhẫn của bạn về thời điểm thêm một: kích thước.Nó là chắc chắn đúng là không gian trống là vuông góc với không gian hàng- nhưng nó không phải làtoàn bộ sự thật. N(A) chứa mỗi vector trực giao không gian hàng. Nullspaceđược thành lập từ tất cả các giải pháp để Ax = 0.Định nghĩa. Đưa ra một con V Rn, không gian của tất cả vectơ trực giao vào V được gọi làphần bù trực giao của V. Nó được kí hiệu bởi V⊥ = "V perp."Sử dụng thuật ngữ này, nullspace là sự bổ sung trực giao của không gian hàng:N(A) = (C (AT))⊥. Đồng thời, không gian hàng có chứa tất cả các vector được trực giaođể nullspace. Z véc tơ có thể không được trực giao cho nullspace nhưng bên ngoài dòngkhông gian. Thêm z là một dòng phụ của A sẽ mở rộng không gian hàng, nhưng chúng ta biết rằngcó là một công thức cố định r + (n−r) = n:Kích thước công thức mờ (hàng space)+dim(nullspace) = số lượng các cột.Mỗi vector trực giao cho nullspace là trong không gian hàng: C (AT) = (N(A))⊥.Những lý do tương tự áp dụng aT sản xuất kết quả kép: trái nullspace N (AT)và không gian cột C(A) là bổ sung trực giao. Kích thước của chúng thêm tối đa(m − r) + r = m, điều này hoàn thành nửa thứ hai của định lý cơ bản của tuyến tínhđại số. Nửa đầu tiên đã cho các kích thước của bốn subspaces. trong đó có một thực tế màhàng thứ hạng = cột xếp hạng. Bây giờ chúng ta biết rằng những subspaces vuông góc. Hơnhơn thế, các subspaces là bổ sung trực giao.3D định lý cơ bản của đại số tuyến tính, phần IINullspace là sự bổ sung trực giao của lượng hàng, Rn.Trái nullspace là sự bổ sung trực giao của lượng cột, Rm.Để lặp lại, không gian hàng chứa tất cả mọi thứ trực giao cho nullspace. Các cộtkhông gian chứa tất cả mọi thứ trực giao cho nullspace trái. Đó là chỉ là một câu, ẩnở giữa của cuốn sách, nhưng nó quyết định chính xác phương trình mà có thể được giải quyết! Nhìntại trực tiếp, Ax = b yêu cầu để trong không gian cột. Nhìn gián tiếp. Ax = bđòi hỏi b là vuông góc với nullspace trái.3E Ax = b là khả năng giải quyết khi và chỉ khi yTB = 0 bất cứ khi nào yTA = 0.3.1 vectơ trực giao và Subspaces 165Cách tiếp cận trực tiếp là "b phải là một sự kết hợp của các cột." Phương pháp gián tiếplà "b phải được trực giao cho mọi véc tơ là vuông góc với các cột." Rằngkhông âm thanh như một sự cải tiến (để đặt nó nhẹ). Nhưng nếu chỉ có một hoặc hai vectơđược trực giao cho các cột. nó là