Linear regression[edit]Main article

Linear regression[edit]
Main article: Linear regression
See simple linear regression for a derivation of these formulas and a numerical example
In linear regression, the model specification is that the dependent variable, y_i is a linear combination of the parameters (but need not be linear in the independent variables). For example, in simple linear regression for modeling n data points there is one independent variable: x_i , and two parameters, eta_0 and eta_1:

straight line: y_i=eta_0 +eta_1 x_i +varepsilon_i,quad i=1,dots,n.!
In multiple linear regression, there are several independent variables or functions of independent variables.

Adding a term in xi2 to the preceding regression gives:

parabola: y_i=eta_0 +eta_1 x_i +eta_2 x_i^2+varepsilon_i, i=1,dots,n.!
This is still linear regression; although the expression on the right hand side is quadratic in the independent variable x_i, it is linear in the parameters eta_0, eta_1 and eta_2.

In both cases, varepsilon_i is an error term and the subscript i indexes a particular observation.

Returning our attention to the straight line case: Given a random sample from the population, we estimate the population parameters and obtain the sample linear regression model:

widehat{y_i} = widehat{eta}_0 + widehat{eta}_1 x_i.
The residual, e_i = y_i - widehat{y}_i , is the difference between the value of the dependent variable predicted by the model, widehat{y_i}, and the true value of the dependent variable, y_i. One method of estimation is ordinary least squares. This method obtains parameter estimates that minimize the sum of squared residuals, SSE,[20][21] also sometimes denoted RSS:

SSE=sum_{i=1}^n e_i^2. ,
Minimization of this function results in a set of normal equations, a set of simultaneous linear equations in the parameters, which are solved to yield the parameter estimators, widehat{eta}_0, widehat{eta}_1.


Illustration of linear regression on a data set.
In the case of simple regression, the formulas for the least squares estimates are

widehat{eta_1}=frac{sum(x_i-ar{x})(y_i-ar{y})}{sum(x_i-ar{x})^2} ext{ and }hat{eta_0}=ar{y}-widehat{eta_1}ar{x}
where ar{x} is the mean (average) of the x values and ar{y} is the mean of the y values.

Under the assumption that the population error term has a constant variance, the estimate of that variance is given by:

hat{sigma}^2_varepsilon = frac{SSE}{n-2}.,
This is called the mean square error (MSE) of the regression. The denominator is the sample size reduced by the number of model parameters estimated from the same data, (n-p) for p regressors or (n-p-1) if an intercept is used.[22] In this case, p=1 so the denominator is n-2.

The standard errors of the parameter estimates are given by

hatsigma_{eta_0}=hatsigma_{varepsilon} sqrt{frac{1}{n} + frac{ar{x}^2}{sum(x_i-ar x)^2}}
hatsigma_{eta_1}=hatsigma_{varepsilon} sqrt{frac{1}{sum(x_i-ar x)^2}}.
Under the further assumption that the population error term is normally distributed, the researcher can use these estimated standard errors to create confidence intervals and conduct hypothesis tests about the population parameters.

Kết quả (Việt) 1:

Hồi qui tuyến tính [sửa]Bài chi tiết: hồi qui tuyến tínhXem đơn giản hồi qui tuyến tính cho một lấy đạo hàm của các công thức này và một số ví dụTrong hồi quy tuyến tính, đặc điểm kỹ thuật của mô hình đó là phụ thuộc vào biến y_i là một tổ hợp tuyến tính của các tham số (nhưng không cần tuyến tính trong biến độc lập). Ví dụ, trong đơn giản hồi qui tuyến tính cho mô hình điểm n dữ liệu đó là một biến độc lập: x_i, và hai tham số, eta_0 và eta_1:đường thẳng: y_i = eta_0 + eta_1 x_i + varepsilon_i,quad i=1,dots,n.!Trong hồi qui tuyến tính nhiều, có rất nhiều các biến độc lập hoặc chức năng của các biến độc lập.Thêm một thuật ngữ trong xi2 để các hồi quy trước cung cấp cho:parabol: y_i = eta_0 + eta_1 x_i + eta_2 x_i ^ 2 + varepsilon_i, i=1,dots,n.!Đây là hồi qui tuyến tính vẫn còn; mặc dù các biểu hiện bên tay phải là bậc hai trong x_i biến độc lập, là tuyến tính trong tham số eta_0, eta_1 và eta_2.Trong cả hai trường hợp, varepsilon_i là một thuật ngữ lỗi và chỉ số tôi lập chỉ mục một quan sát cụ thể.Trở về của chúng tôi quan tâm đến các trường hợp đường thẳng: được đưa ra một mẫu ngẫu nhiên từ dân số, chúng tôi ước tính tham số dân số và có được mô hình hồi quy tuyến tính mẫu: widehat{y_i} = widehat{eta}_0 + widehat{eta}_1 x_i. Dư, e_i = y_i - widehat{y}_i, là sự khác biệt giữa giá trị của biến phụ thuộc vào dự đoán của các mô hình, widehat{y_i}, và giá trị thực của biến phụ thuộc, y_i. Một phương pháp ước tính là bình thường tối thiểu. Phương pháp này được tham số ước tính giảm thiểu tổng bình phương dư, SSE, [20] [21] cũng đôi khi ký hiệu là RSS:SSE = sum_ {tôi = 1} ^ n e_i ^ 2. , Giảm thiểu của chức năng này kết quả trong một tập hợp các phương trình bình thường, một tập hợp các phương trình tuyến tính đồng thời trong các tham số, được giải quyết để mang lại các tham số estimators, widehat{eta}_0, widehat{eta}_1.Tác giả của các hồi quy tuyến tính trên một tập hợp dữ liệu.Trong trường hợp đơn giản hồi qui, công thức cho các ước tính tối thiểu làwidehat{eta_1}=frac{sum(X_i-ar{x})(y_i-ar{y})} {sum (x_i-ar {x}) ^ 2} ext {và} hat{eta_0}=ar{y}-widehat{eta_1}ar{x}nơi ar{x} là trung bình (trung bình) của x giá trị và ar{y} là trung bình của các giá trị y.Theo giả định rằng thuật ngữ lỗi dân có một phương sai liên tục, các ước tính của phương sai đó được cho bởi: hat{sigma}^2_varepsilon = frac{SSE}{n-2}.,Điều này được gọi là lỗi có nghĩa là square (MSE) của các hồi quy. Các mẫu số là kích thước mẫu được giảm số lượng tham số mô hình được ước tính từ các dữ liệu tương tự, (n-p) cho p regressors hoặc (n-p-1) nếu đánh chặn một được sử dụng. [22] trong trường hợp này, p = 1 vì vậy, những mẫu số là n-2.Lỗi chuẩn của các ước lượng tham số được đưa ra bởisqrt{frac{1}{n hatsigma_{eta_0}=hatsigma_{varepsilon}} + frac{ar{x}^2}{sum (x_i-ar x) ^ 2}}hatsigma_{eta_1}=hatsigma_{varepsilon} sqrt{frac{1}{sum (x_i-ar x) ^ 2}}.Trong giả định thêm thuật ngữ lỗi dân thường được phân phối, các nhà nghiên cứu có thể sử dụng các lỗi chuẩn ước tính để tạo ra khoảng tin cậy và tiến hành các thử nghiệm giả thuyết về các tham số dân.

Kết quả (Việt) 2:

Tuyến tính hồi quy [sửa]
Bài chi tiết: Hồi quy tuyến tính
Xem hồi quy tuyến tính đơn giản cho một dẫn xuất của các công thức và một ví dụ số
Trong hồi quy tuyến tính, các đặc điểm kỹ thuật mô hình này là các biến phụ thuộc, y_i là một sự kết hợp tuyến tính của các tham số (nhưng không nhất thiết phải tuyến tính trong các biến độc lập). Ví dụ, trong hồi quy tuyến tính đơn giản để mô hình hóa n điểm dữ liệu có là một biến độc lập: x_i, và hai tham số, beta_0 và beta_1: đường thẳng: y_i = beta_0 + beta_1 x_i + varepsilon_i, quad i = 1 , dots, n .! Trong hồi quy tuyến tính đa, có một số biến độc lập hay các chức năng của các biến độc lập. Thêm một thuật ngữ trong xi2 để hồi quy trước cho: parabol: y_i = beta_0 + beta_1 x_i + beta_2 x_i ^ 2+ varepsilon_i, i = 1, dots, n .! Đây vẫn là hồi quy tuyến tính; mặc dù các biểu thức ở bên tay phải là bậc hai trong x_i biến độc lập, nó là tuyến tính trong các tham số beta_0, beta_1 và beta_2. Trong cả hai trường hợp, varepsilon_i là một thuật ngữ lỗi và chỉ số i chỉ là một quan sát cụ thể. Quay trở lại sự chú ý của chúng tôi để các trường hợp đường thẳng: Cho một mẫu ngẫu nhiên từ dân số, chúng tôi ước tính các thông số về dân số và có được các mô hình hồi quy tuyến tính mẫu: widehat {y_i} = widehat { beta} _0 + widehat { beta} _1 x_i. Các dư, e_i = y_i - widehat {y} _i, là sự khác biệt giữa giá trị của biến phụ thuộc được dự đoán bởi mô hình, widehat {} y_i, và giá trị đích thực của biến phụ thuộc, y_i. Một phương pháp ước lượng là bình phương nhỏ nhất. Phương pháp này có được ước lượng tham số đó giảm thiểu tổng số dư bình phương, SSE, [20] [21] cũng đôi khi được ký hiệu RSS: SSE = sum_ {i = 1} ^ n e_i ^ 2. , Giảm thiểu chức năng này kết quả trong một tập hợp các phương trình bình thường, một tập hợp các phương trình tuyến tính đồng thời trong các thông số, mà được giải quyết để mang lại các ước lượng tham số, widehat { beta} _0, widehat { beta} _1. Minh họa của hồi quy tuyến tính trên một tập dữ liệu. Trong trường hợp hồi quy đơn giản, công thức cho các ô vuông ước tính ít nhất là widehat { beta_1} = frac { sum (x_i- bar {x}) (y_i- bar { y})} { sum (x_i- bar {x}) ^ 2} text {và} hat { beta_0} = bar {y} - widehat { beta_1} bar {x} nơi thanh {x} là giá trị trung bình (trung bình) của các giá trị x và bar {y} là giá trị trung bình của các giá trị y. Theo các giả định rằng các lỗi hạn quần thể có một phương sai không đổi, ước tính phương sai mà được cho bởi: hat { sigma} ^ 2_ varepsilon = frac {SSE} {n-2}. , Điều này được gọi là sai số bình phương trung bình (MSE) của hồi quy. Các mẫu số là cỡ mẫu giảm số lượng các thông số mô hình ước tính từ cùng một dữ liệu, (np) cho p biến hồi quy hay (np-1) nếu một đánh chặn được sử dụng. [22] Trong trường hợp này, p = 1 nên mẫu số là n-2. Các sai số chuẩn của các ước lượng tham số được đưa ra bởi hat sigma _ { beta_0} = hat sigma _ { varepsilon} sqrt { frac {1} {n} + frac { bar { x} ^ 2} { sum (x_i- bar x) ^ 2}} hat sigma _ { beta_1} = hat sigma _ { varepsilon} sqrt { frac {1} { sum (x_i- bar x) ^ 2}}. Theo các giả định thêm rằng các lỗi hạn phân bố dân số bình thường, các nhà nghiên cứu có thể sử dụng các sai số chuẩn ước tính để tạo ra khoảng tin cậy và tiến hành kiểm tra giả thuyết về các tham số dân.