Econometric Theory/Ordinary Least S

Econometric Theory/Ordinary Least Squares (OLS)
< Econometric Theory
Ordinary Least Squares or OLS is one of the simplest (if you can call it so) methods of linear regression. The goal of OLS is to closely "fit" a function with the data. It does so by minimizing the sum of squared errors from the data.
Why we Square Errors before Summing[edit]
We are not trying to minimize the sum of absolute errors, but rather the sum of squared errors. Let's take a brief look at our sweater story again.


Model A

Model B

model data point error from line
A 1 5
A 2 10
A 3 -5
A 4 -10
B 1 3
B 2 -3
B 3 3
B 4 -3




Notice that the Sum of Model A is and that the Sum of Model B is
Both Models sum to 0 and both are great fits! NO!!
So to account for the signs, whenever we sum errors, we square the terms first.
The Model[edit]
These two models each have an intercept term , and a slope term (some textbooks use instead of and instead of , this is a much better approach once we move to multivariate formulas). We can represent an arbitrary single variable model with the formula: The y-values are related to the x-values given this formula. We use the subscript i to denote an observation. So is paired with , with , etc. The term is the error term, which is the difference between the effect of and the observed value of .
Unfortunately, we don't know the values of or . We have to approximate them. We can do this by using the ordinary least squares method. The term "least squares" means that we are trying to minimize the sum of squares, or more specifically we are trying to minimize the squared error terms. Since there are two variables that we need to minimize with respect to ( and ), we have two equations:



Call the solutions to these equations and . Solving we get:


Where and . Computing these results can be left as an exercise.
It is important to know that and are not the same as and because they are based on a single sample rather than the entire population. If you took a different sample, you would get different values for and . Let's call and the OLS estimators of and . One of the main goals of econometrics is to analyze the quality of these estimators and see under what conditions these are good estimators and under which conditions they are not.
Once we have and , we can construct two more variables. The first is the fitted values, or estimates of y:

The second is the estimates of the error terms, which we will call the residuals:

These two variables will be important later on.

Kết quả (Việt) 2:

Lý thuyết kinh tế lượng / Least Squares dụng thông thường (OLS)
<Lý thuyết kinh tế lượng
bình phương nhỏ nhất hoặc OLS là một trong những đơn giản nhất (nếu bạn có thể gọi nó như vậy) phương pháp hồi quy tuyến tính. Mục tiêu của OLS là chặt chẽ "phù hợp" một chức năng với các dữ liệu. Nó như vậy bằng cách giảm thiểu tổng của bình phương lỗi từ dữ liệu.
Tại sao chúng ta lỗi quảng trường trước khi Tổng hợp [sửa]
Chúng tôi không cố gắng để giảm thiểu tổng của lỗi tuyệt đối, mà là tổng của bình phương lỗi. Chúng ta hãy nhìn vào câu chuyện của chúng tôi một lần nữa áo len. Model A Model B lỗi điểm mô hình dữ liệu từ dòng A 1 5 A 2 10 A 3 -5 A 4 -10 B 1 3 B 2 -3 B 3 3 B 4 -3 Thông báo rằng tổng của Model A và đó tổng của mẫu B là hai mô hình tổng 0 và cả hai đều phù hợp tuyệt vời! NO !! Vì vậy, để tài khoản cho các dấu hiệu, bất cứ khi nào chúng tôi tổng hợp lỗi, chúng tôi vuông các điều khoản đầu tiên. Các Model [sửa] Hai mô hình này từng có một thời hạn đánh chặn, và một hạn độ dốc (một số sách giáo khoa sử dụng thay vì và thay vì, điều này là một cách tiếp cận tốt hơn nhiều một khi chúng ta chuyển sang công thức đa biến). Chúng tôi có thể đại diện cho một mô hình biến đơn tùy ý với công thức: Các giá trị y có liên quan đến x-giá trị cho công thức này. Chúng tôi sử dụng với i để biểu thị một sự quan sát. Vì vậy, được ghép nối với, với, vv Thuật ngữ là sai, đó là sự khác biệt giữa tác động của và giá trị quan sát được của. Thật không may, chúng tôi không biết giá trị của hay. Chúng tôi có để gần chúng. Chúng tôi có thể làm điều này bằng cách sử dụng phương pháp bình phương nhỏ nhất. Thuật ngữ "hình vuông ít nhất" có nghĩa là chúng tôi đang cố gắng để giảm thiểu tổng bình phương, hay cụ thể hơn, chúng tôi đang cố gắng để giảm thiểu sai số bình phương. Kể từ khi có hai biến mà chúng ta cần phải giảm thiểu đối với (và) với, chúng ta có hai phương trình: Gọi các giải pháp cho các phương trình và. Giải quyết chúng ta có: Ở đâu và. Việc tính toán các kết quả có thể được để lại như một bài tập. Điều quan trọng là phải biết điều đó và không giống như và vì chúng được dựa trên một mẫu duy nhất chứ không phải là toàn bộ dân số. Nếu bạn lấy một mẫu khác nhau, bạn sẽ nhận được các giá trị khác nhau cho và. Hãy gọi và ước lượng OLS của và. Một trong những mục tiêu chính của kinh tế là để phân tích chất lượng của những ước tính và nhìn thấy những điều kiện nào đó là ước lượng tốt và theo đó điều kiện họ không. Một khi chúng ta có, và chúng ta có thể xây dựng hai biến hơn. Đầu tiên là các giá trị trang bị, hoặc dự tính của y: Thứ hai là sự ước tính của các điều khoản lỗi, chúng tôi sẽ gọi cho các số dư: Hai biến sẽ rất quan trọng về sau.