Contents1 Introduction 11.1 Relatio

Contents
1 Introduction 1
1.1 Relationships 1
1.2 Determining Relationships: A Specific Problem 2
1.3 The Model 5
1.4 Least Squares 7
1.5 Another Example and a Special Case 10
1.6 When Is Least Squares a Good Method? 11
1.7 A Measure of Fit for Simple Regression 13
1.8 Mean and Variance of 6o and bi 14
1.9 Confidence Intervals and Tests 17
1.10 Predictions 18
Appendix to Chapter 1 20
Problems 23
2 Multiple Regression 28
2.1 Introduction 28
2.2 Regression Model in Matrix Notation 28
2.3 Least Squares Estimates 30
2.4 Examples 31
2.5 Gauss-Markov Conditions 35
2.6 Mean and Variance of Estimates Under G-M Conditions . . 35
2.7 Estimation of a2 37
2.8 Measures of Fit 39
2.9 The Gauss-Markov Theorem 41
2.10 The Centered Model 42
2.11 Centering and Scaling 44
2.12 ‘Constrained Least Squares 44
Appendix to Chapter 2 46
Problems 49
3 Tests and Confidence Regions 60
3.1 Introduction 60
3.2 Linear Hypothesis 60
li
3.3 ‘Likelihood Ratio Test 62
3.4 ‘Distribution of Test Statistic 64
3.5 Two Special Cases 65
3.6 Examples 66
3.7 Comparison of Regression Equations 67
3.8 Confidence Intervals and Regions 71
3.8.1 C.I. for the Expectation of a Predicted Value .... 71
3.8.2 C.I. for a Future Observation 71
3.8.3 ‘Confidence Region for Regression Parameters ... 72
3.8.4 ‘C.I.’s for Linear Combinations of Coefficients ... 73
Problems 74
4 Indicator Variables 83
4.1 Introduction 83
4.2 A Simple Application 83
4.3 Polychotomous Variables 84
4.4 Continuous and Indicator Variables 88
4.5 Broken Line Regression 89
4.6 Indicators as Dependent Variables 92
Problems 95
5 The Normality Assumption 100
5.1 Introduction 100
5.2 Checking for Normality 101
5.2.1 Probability Plots 101
5.2.2 Tests for Normality 105
5.3 Invoking Large Sample Theory . .• 106
5.4 ‘Bootstrapping 107
5.5 ‘Asymptotic Theory 108
Problems 110
6 Unequal Variances 111
6.1 Introduction Ill
6.2 Detecting Heteroscedasticity Ill
6.2.1 Formal Tests 114
6.3 Variance Stabilizing Transformations 115
6.4 Weighting 118
Problems 128
7 ‘Correlated Errors 132
7.1 Introduction 132
7.2 Generalized Least Squares: Case When f! Is Known .... 133
7.3 Estimated Generalized Least Squares 134
7.3.1 Error Variances Unequal and Unknown 134
7.4 Nested Errors 136
7.5 The Growth Curve Model 138
7.6 Serial Correlation 140
7.6.1 The Durbin-Watson Test 142
7.7 Spatial Correlation 143
7.7.1 Testing for Spatial Correlation 143
7.7.2 Estimation of Parameters 144
Problems 146
8 Outliers and Influential Observations 154
8.1 Introduction 154
8.2 The Leverage 155
8.2.1 ‘Leverage as Description of Remoteness 156
8.3 The Residuals 156
8.4 Detecting Outliers and Points That Do Not Belong to the
Model 157
8.5 Influential Observations 158
8.5.1 Other Measures of Influence 160
8.6 Examples 161
Appendix to Chapter 8 173
Problems 176
9 Transformations 180
9.1 Introduction 180
9.1.1 An Important Word of Warning 180
9.2 Some Common Transformations 181
9.2.1 Polynomial Regression 181
9.2.2 Splines 182
9.2.3 Multiplicative Models 182
9.2.4 The Logit Model for Proportions 186
9.3 Deciding on the Need for Transformations 188
9.3.1 Examining Residual Plots 189
9.3.2 Use of Additional Terms 190
9.3.3 Use of Repeat Measurements 192
9.3.4 Daniel and Wood Near-Neighbor Approach 194 „
9.3.5 Another Method Based on Near Neighbors 195
9.4 Choosing Transformations 197
9.4.1 Graphical Method: One Independent Variable .... 197
9.4.2 Graphical Method: Many Independent Variables . . 200
9.4.3 Analytic Methods: Transforming the Response . . . 204
9.4.4 Analytic Methods: Transforming the Predictors . . . 209
9.4.5 Simultaneous Power Transformations for Predictors
and Response 209
Appendix to Chapter 9 211
Problems 213
10 Multicollinearity 218
10.1 Introduction 218
10.2 Multicollinearity and Its Effects 218
10.3 Detecting Multicollinearity 222
10.3.1 Tolerances and Variance Inflation Factors 222
10.3.2 Eigenvalues and Condition Numbers 223
10.3.3 Variance Components 224
10.4 Examples 225
Problems 231
11 Variable Selection 233
11.1 Introduction 233
11.2 Some Effects of Dropping Variables 234
11.2.1 Effects on Estimates of 0j 235
11.2.2 'Effect on Estimation of Error Variance 236
11.2.3 'Effect on Covariance Matrix of Estimates ...... 236
11.2.4 'Effect on Predicted Values: Mallows’ Cp 237
11.3 Variable Selection Procedures 238
11.3.1 Search Over All Possible Subsets 239
11.3.2 Stepwise Procedures 240
11.3.3 Stagewise and Modified Stagewise Procedures .... 243
11.4 Examples 243
Problems 251
12 'Biased Estimation 253
12.1 Introduction 253
12.2 Principal Component Regression 253
12.2.1 Bias and Variance of Estimates 255
12.3 Ridge Regression 256
12.3.1 Physical Interpretations of Ridge Regression 257
12.3.2 Bias and Variance of Estimates 258
12.4 Shrinkage Estimator 261
Problems 263
A Matrices 267
A. l Addition and Multiplication 267
A. 2 The Transpose of a Matrix 268
A. 3 Null and Identity Matrices 268
A. 4 Vectors 269
A. 5 Rank of a Matrix 270
A. 6 Trace of a Matrix 271
A. 7 Partitioned Matrices 271
A. 8 Determinants 272
A. 9 Inverses 273
A. 10 Characteristic Roots and Vectors 276
A. 11 Idempotent Matrices 277
A. 12 The Generalized Inverse 278
A. 13 Quadratic Forms 279
A. 14 Vector Spaces 280
Problems 282
B Random Variables and Random Vectors 284
B. l Random Variables 284
B. 1.1 Independent Random Variables 284
B. 1.2 Correlated Random Variables 285
B. l.3 Sample Statistics 285
B. 1.4 Linear Combinations of Random Variables 285
B. 2 Random Vectors 286
B. 3 The Multivariate Normal Distribution 288
B. 4 The Chi-Square Distributions 290
B. 5 The F and t Distributions 292
B. 6 Jacobian of Transformations 293
B. 7 Multiple Correlation 295
Problems 297
C Nonlinear Least Squares 298
C. l Gauss-Newton Type Algorithms 299
C. 1.1 The Gauss-Newton Procedure 299
C. l.2 Step Halving 300
C. l.3 Starting Values and Derivatives 301
C. 1.4 Marquardt Procedure 302
C. 2 Some Other Algorithms 302
C. 2.1 Steepest Descent Method 303
C. 2.2 Quasi-Newton Algorithms 303
C. 2.3 The Simplex Method 305
C. 2.4 Weighting • • 305
C. 3 Pitfalls 306
C.4 Bias, Confidence Regions and Measures of Fit 308
C.5 Examples 310
Problems 316
Tables 319
References 327
Index 336
Author Index 345

Kết quả (Việt) 2:

Nội dung
1 Giới thiệu 1
1.1 Các mối quan hệ 1
1.2 Các mối quan hệ xác định: một vấn đề cụ thể 2
1.3 Mô hình 5
1.4 Least squares 7
1.5 Một ví dụ và một trường hợp đặc biệt 10
1.6 Khi là Least squares một phương pháp tốt? 11
1.7 Một Measure of Fit cho Simple Regression 13
1.8 Mean và phương sai của 6o và bi 14
1.9 Khoảng tin cậy và các xét nghiệm 17
1.10 Dự đoán 18
Phụ lục Chương 1 20
23 Vấn đề
2 Nhiều Regression 28
2.1 Giới thiệu 28
2.2 Regression Model trong Matrix Notation 28
2.3 Least squares Ước tính 30
2.4 Các ví dụ 31
2.5 Gauss-Markov Điều kiện 35
2.6 Mean và phương sai của các ước lượng Dưới Điều kiện GM. . 35
2.7 Ước lượng a2 37
2.8 Các biện pháp của Fit 39
2.9 Gauss-Markov lý 41
2.10 Mô hình Centered 42
2.11 tâm và Scaling 44
2.12 'Least squares Constrained 44
Phụ lục 2 của Chương 46
Vấn đề 49
3 xét nghiệm và khu vực niềm tin 60
3.1 Giới thiệu 60
3.2 Giả thuyết tuyến tính 60
li
3.3 'Khả năng Ratio thử nghiệm 62
3.4 'phân phối của Test Thống kê 64
3.5 Hai trường hợp đặc biệt 65
3.6 Các ví dụ 66
3.7 So sánh các phương trình hồi quy 67
3.8 Khoảng tin cậy và khu vực 71
3.8.1 CI cho Nguyện vọng của một giá trị dự đoán. ... 71
3.8.2 CI cho một quan sát tương lai 71
3.8.3 'Region Niềm tin cho Regression Parameters ... 72
3.8.4 'của CI cho tuyến tính kết hợp của hệ số ... 73
​​74 Vấn đề
4 biến Chỉ thị 83
4.1 Giới thiệu 83
4.2 Một ứng dụng đơn giản 83
4.3 Biến Polychotomous 84
4.4 Các biến liên tục và Chỉ thị 88
4.5 Tấm Đường hồi quy 89
4.6 Các chỉ số như biến phụ thuộc 92
vấn đề 95
5 Các chuẩn tắc Assumption 100
5.1 Giới thiệu 100
5.2 Kiểm tra các chuẩn tắc 101
5.2.1 Xác suất Plots 101
5.2.2 Các xét nghiệm cho chuẩn tắc 105
5.3 Gọi Lý thuyết mẫu lớn. . • 106
5.4 'Bootstrapping 107
5.5 'tiệm cận Theory 108
110 Vấn đề
bất bình đẳng 6 Variances 111
6.1 Giới thiệu Ill
6.2 Phát hiện các biến ngẫu Ill
6.2.1 thử nghiệm chính 114
6.3 Phương sai Ổn định Transformations 115
6.4 Trọng số 118
Vấn đề 128
7 'lỗi tương quan 132
7.1 Giới thiệu 132
7.2 Generalized Least Squares: Case Khi f! Được biết đến là .... 133
7.3 Dự kiến Generalized Least Squares 134
7.3.1 Lỗi toán chênh lệch không bình đẳng và Unknown 134
7.4 lỗi Nested 136
7.5 Sự tăng trưởng Đường cong hình 138
7.6 tiếp Serial Correlation 140
7.6.1 Các Durbin-Watson thử nghiệm 142
7.7 Sự tương quan không gian 143
7.7 0,1 Thử nghiệm cho không gian tương quan 143
7.7.2 Ước lượng các thông số 144
Vấn đề 146
8 Outliers và quan sát ảnh hưởng 154
8.1 Giới thiệu 154
8.2 Đòn bẩy 155
8.2.1 'Đòn bẩy như Mô tả xa xôi 156
8.3 Dư 156
8.4 Phát hiện Outliers và điểm đó Đỗ Không Thuộc các
mẫu 157
8.5 Quan sát ảnh hưởng 158
8.5.1 Các biện pháp khác của ảnh hưởng 160
8.6 Các ví dụ 161
Phụ lục Chương 8 173
176 Vấn đề
9 Transformations 180
9.1 Giới thiệu 180
9.1.1 Một Lời Cảnh báo quan trọng của 180
9.2 Một số Common Transformations 181
9.2. 1 đa thức Regression 181
9.2.2 Splines 182
9.2.3 Các mô hình nhân giống 182
9.2.4 Mô hình Logit cho Proportions 186
9.3 Quyết định về Need for Transformations 188
9.3.1 Kiểm tra Plots dư 189
9.3.2 Sử dụng điều khoản bổ sung 190
9.3.3 Sử dụng Lặp lại phép đo 192
9.3.4 Daniel và Gỗ Near-Neighbor Approach 194 "
9.3.5 Phương pháp khác Dựa trên gần Neighbors 195
9.4 Lựa chọn biến đổi 197
9.4.1 Phương pháp đồ họa: Một biến độc lập .... 197
9.4.2 Phương pháp đồ họa : Nhiều biến độc lập. . 200
9.4.3 Phương pháp phân tích: việc chuyển các Response. . . 204
9.4.4 Phương pháp phân tích: Việc chuyển đổi các dự báo. . . 209
9.4.5 Simultaneous điện biến đổi cho các dự báo
và ứng phó 209
Phụ lục chương 9 211
213 Các vấn đề
đa cộng 10 218
10.1 Giới thiệu 218
10.2 đa cộng tuyến và nó ảnh hưởng 218
10,3 Phát hiện đa cộng 222
10.3.1 Dung sai và phương sai yếu tố lạm phát 222
10.3.2 trị riêng và điều kiện số 223
10.3.3 Variance Components 224
10.4 Các ví dụ 225
231 Vấn đề
11 Lựa chọn Variable 233
11.1 Giới thiệu 233
11.2 Một số ảnh hưởng của biến Thả 234
11.2.1 Hiệu ứng về Ước tính của 0j 235
11.2.2 'Effect trên Estimation của Lỗi Variance 236
11.2.3 "Ảnh hưởng về Hiệp phương sai của các ước lượng Matrix ...... 236
11.2.4 'Effect trên Giá trị dự đoán: Cp Mallows' 237
11.3 Các thủ tục lựa chọn Variable 238
11.3.1 Tìm kiếm Trong Tất cả phân nhóm có thể có 239
11.3.2 Thủ tục từng bước 240
11.3.3 Stagewise và thay đổi thủ tục Stagewise .... 243
11.4 Các ví dụ 243
251 Vấn đề
12 'Biased Estimation 253
12.1 Giới thiệu 253
12.2 Principal Component Regression 253
12.2.1 Bias và phương sai của các ước lượng 255
12,3 Ridge Regression 256
12.3.1 Physical Giải thích từ Ridge Regression 257
12.3.2 Bias và phương sai của các ước lượng 258
12,4 ngót Ước ​​tính 261
263 Vấn đề
Một ma trận 267
A. l Phép cộng và phép nhân 267
A. 2 Các Transpose của một Matrix 268
A. 3 Null và Identity Matrices 268
A. 4 Vectors 269
A. 5 Rank của một Matrix 270
A. 6 Dấu vết của một Matrix 271
A. 7 phân Matrices 271
A. 8 yếu tố quyết định 272
A. 9 ngược 273
A. 10 Roots đặc trưng và Vectors 276
A. 11 idempotent Matrices 277
A. 12 Generalized Inverse 278
A. 13 Quadratic Forms 279
A. 14 Vector Spaces 280
282 Vấn đề
biến B ngẫu nhiên và ngẫu nhiên Vectors 284
B. l biến ngẫu nhiên 284
B. 1.1 Độc lập biến ngẫu nhiên 284
B. 1.2 Tương quan biến ngẫu nhiên 285
B. Thống kê l.3 mẫu 285
B. 1.4 Tuyến tính Kết hợp của các biến ngẫu nhiên 285
B. 2 Random Vectors 286
B. 3. Phân phối đa biến bình thường 288
B. 4 Chi-Square Distributions 290
B. 5 F và t Distributions 292
B. 6 Jacobian của biến đổi 293
B. 7 Nhiều Correlation 295
Vấn đề 297
C Nonlinear Least squares 298
C. l Gauss-Newton Loại Algorithms 299
C. 1.1 Các Gauss-Newton Procedure 299
C. l.2 Bước giảm một nửa 300
C. l.3 Giá trị bắt đầu và Derivatives 301
C. 1.4 Marquardt Procedure 302
C. 2 Một số khác Algorithms 302
C. 2.1 dốc Descent Phương pháp 303
C. 2.2 Quasi-Newton Algorithms 303
C. 2.3 Simplex Method 305
C. 2.4 Trọng • • 305
C. 3 cạm bẫy 306
C.4 Bias, Regions Niềm tin và biện pháp của Fit 308
C.5 Ví dụ 310
316 Vấn đề
Tables 319
Tài liệu tham khảo 327
Index 336
Author Index 345