M05W1.3. Simple LinearRegression

Đọc thêm 3.1. Linear Regression

1. Introduction

2. Simple Linear Regression

2.1. Intro to Linear Regression

Công thức hồi quy

• Phương trình đường hồi quy:

$\widehat{y_i}=w{x}_i+b$

Trong đó:

• $x_i$: biến độc lập

Sai số (Error)

$error(\widehat{y_i},y_i)=(\widehat{y_i}-y_i{)}^2$

Hàm mất mát (Loss Function)

$Loss={\sum }_i(\widehat{y_i}-y_i{)}^2={\sum }_{i}erro{r}_i$

Ví dụ ta có bài toán:

Ở đây ta cho trước $w=10$ và $b=5$: Từ đây ta tính được loss và total loss như trên hình

---

2.2. How bias affect the loss function?

Ở đây ta giả sử cố định weight $w=10$, nhưng thay đổi bias ($b$)

• Khi $b$ thay đổi, đường hồi quy dịch chuyển lên hoặc xuống song song với nhau. Mục đích là để xem giá trị $b$ nào làm cho đường gần dữ liệu nhất.

Tại một bias tối ưu (khoảng $b\approx 23$), Loss đạt giá trị nhỏ nhất.

---

2.3. How bias affect the loss function?

Ở đây ta giả sử cố định bias $b=5$ còn slope $w$ thay đổi:

• Khi $w$ thay đổi, đường hồi quy quay quanh trục tung (dốc lên nhiều hay ít) → không song song như trường hợp thay đổi bias.

2.4. Gradient Descent

Đọc thêm: Gradient Descent