M01W1.6_Linear Algebra and Applications

Table of Content

---

• Tham khảo
• I. Vector and Matrix
  • System of Linear Equations
  • Các cách giải
  • I.1. Introduction
    • Vector
    • Matrix
  • I.2. Vector Operations
    • Vector Addition – Cộng hai vector
  • I.3. Matrix Operations
    • Matrix-matrix multiplication
    • Transpose
    • Other Hadamard operations
    • argmin and argmax
• III. Cosine Similarity
  • III.1. Dot Product
    • Dạng cơ bản – Chiếu lên trục tọa độ
    • Dạng tổng quát – Chiếu lên vector bất kỳ
    • Ý nghĩa hình học của dot product
    • Tính chất hình học
    • Ví dụ
  • III.2. Cosine Similarity

    • Định nghĩa

    • Tính chất

Important

Tham khảo

I. Vector and Matrix

System of Linear Equations

Hệ phương trình tuyến tính mô tả mối quan hệ giữa đặc trưng (Features) và nhãn (Label) thông qua một mô hình tuyến tính. Trong ví dụ này, chúng ta dự đoán Sales dựa trên chi phí quảng cáo ở các kênh TV, Radio, và Newspaper. Mô hình tuyến tính Phương trình tổng quát: $Sales=a_1\times TV+a_2\times Radio+a_3\times Newspaper+b$ Trong đó:

• a₁, a₂, a₃: hệ số ảnh hưởng của từng kênh quảng cáo
• b: hằng số (intercept), ở đây giả sử b = 0 để đơn giản hóa Bảng dữ liệu mẫu: |TV|Radio|Newspaper|Sales| |---|---|---|---| |230.1|37.8|69.2|22.1| |44.5|39.3|45.1|10.4| |17.2|45.9|69.3|12.0| Dạng hệ phương trình Từ dữ liệu, ta có hệ: a₁T₁ + a₂R₁ + a₃N₁ = S₁ a₁T₂ + a₂R₂ + a₃N₂ = S₂ a₁T₃ + a₂R₃ + a₃N₃ = S₃ Trong đó:
• Tᵢ: giá trị quảng cáo TV ở dòng i
• Rᵢ: giá trị quảng cáo Radio ở dòng i
• Nᵢ: giá trị quảng cáo Newspaper ở dòng i
• Sᵢ: doanh số (Sales) ở dòng i

Biểu diễn ma trận Hệ trên được viết gọn lại: a₁[T₁, T₂, T₃]ᵀ + a₂[R₁, R₂, R₃]ᵀ + a₃[N₁, N₂, N₃]ᵀ = [S₁, S₂, S₃]ᵀ Hoặc: A · x = b Với:

• A = ma trận đặc trưng

  $\left[\begin{array}{ccc}{T}_1& R_1& N_1\\ T_2& R_2& N_2\\ T_3& R_3& N_3\end{array}\right]$

• x = vector hệ số $[a_1,a_2,a_3{]}^T$

• b = vector kết quả [S₁, S₂, S₃]ᵀ ⇒ Việc viết dưới dạng ma trận giúp ta có thể giải hệ nhanh bằng các phương pháp đại số tuyến tính (nghịch đảo ma trận, phương pháp khử Gauss, hoặc dùng NumPy).

Các cách giải

1. Phương pháp Cramer

   Áp dụng cho hệ có số phương trình = số ẩn $n\times n$, ma trận $A$ khả nghịch.

   Công thức:

   $x_i=\frac{\det (A_i)}{\det (A)}$

   • $A_i$: ma trận thay cột thứ $i$ của $A$ bằng vector $b$.
   • Thích hợp cho hệ nhỏ, nhưng tính determinant tốn kém khi $n$ lớn.

2. Khử Gauss (Gaussian Elimination)

   Biến đổi ma trận mở rộng $[A|b]$ thành dạng tam giác trên, sau đó giải bằng thế lùi.

   Quy trình:

   1. Dùng phép biến đổi sơ cấp để đưa $A$ về dạng bậc thang.

   2. Giải từ phương trình cuối cùng lên trên.

   Ưu điểm: tính toán đơn giản, áp dụng được cho hệ vừa và lớn.

   Nhược điểm: dễ sinh sai số số học khi ma trận gần suy biến.

3. Phân rã ma trận

   Matrix factorization

   • LU Decomposition:

     $A=LU$

     Với $L$: ma trận tam giác dưới, $U$: tam giác trên. Giải hệ bằng 2 bước thế tiến & lùi.

   • Cholesky Decomposition:

I.1. Introduction

Vector

• $n$ là một số tự nhiên
• ℝ là tập hợp các số thực
• $\vec{v}$ là vector có độ dài $n$, mỗi phần tử là số thực
• Ký hiệu: $\vec{v}\in R^n$ $\vec{v}=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\end{array}\right]\in \left[\begin{array}{c}R\\ R\\ R\end{array}\right]=R^3$ Vector là ma trận 1 cột, là khối xây dựng cơ bản của ma trận. Khi học máy, vector thường biểu diễn đặc trưng hoặc trọng số.

Matrix

• Ma trận có hình chữ nhật (hàng × cột)
• Có $m$ hàng và $n$ cột
• Dùng chữ cái in hoa để biểu diễn
• Ký hiệu: $A\in R^{m\times n}$ $A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\end{array}\right]\in \left[\begin{array}{cc}R& R\\ R& R\\ R& R\end{array}\right]=R^{3\times 2}$ Trong học máy, ma trận thường biểu diễn tập dữ liệu: mỗi hàng là 1 mẫu (sample), mỗi cột là 1 đặc trưng (feature).

I.2. Vector Operations

Vector Addition – Cộng hai vector

Cho hai vector: $\vec{v}=\left[\begin{array}{c}{v}_1\\ ⋮\\ v_3\end{array}\right],\vec{u}=\left[\begin{array}{c}{u}_1\\ ⋮\\ u_3\end{array}\right]$ Phép cộng được định nghĩa: $\vec{v}+\vec{u}=\left[\begin{array}{c}{v}_1+u_1\\ ⋮\\ v_3+u_3\end{array}\right]$ Code Python:

def add_vectors(vector1, vector2):
    '''
    Add corresponding elements between two vectors
    vector1 and vector2 are lists
    '''
    return [v1 + v2 for v1, v2 in zip(vector1, vector2)]

NumPy:

import numpy as np
x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])
print("data x \n", x)
print("data y \n", y)
# Cách 1: toán tử +
print("method 1 \n", x + y)
# Cách 2: hàm np.add
print("method 2 \n", np.add(x, y))

Output:
data x
[1 2 3 4]
data y
[5 6 7 8]
method 1
[ 6  8 10 12]
method 2
[ 6  8 10 12]

NumPy tự động vector hóa các toán tử, giúp xử lý nhanh trên mảng lớn mà không cần vòng lặp.

I.3. Matrix Operations

Matrix-matrix multiplication

Cho hai ma trận:

• $A\in {\mathbb{R}}^{m\times n}$
• $B\in {\mathbb{R}}^{n\times d}$ Tích ma trận: $C=AB\in {\mathbb{R}}^{m\times d}$ Định nghĩa phần tử kết quả Phần tử $c_{ij}$ trong ma trận kết quả $C$ được tính theo công thức: $c_{ij}={\sum }_{k=1}^n{a}_{ik}\cdot b_{kj}$ Tức là: hàng thứ i của $A$ nhân từng phần tử tương ứng với cột thứ j của $B$. Biểu diễn tổng quát $AB=\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& \ddots & ⋮\\ a_{m1}& \cdots & a_{mn}\end{array}\right]\cdot \left[\begin{array}{ccc}{b}_{11}& \cdots & b_{1d}\\ ⋮& \ddots & ⋮\\ b_{n1}& \cdots & b_{nd}\end{array}\right]=\left[\begin{array}{ccc}\sum a_{1k}{b}_{k1}& \cdots & \sum a_{1k}{b}_{kd}\\ ⋮& \ddots & ⋮\\ \sum a_{mk}{b}_{k1}& \cdots & \sum a_{mk}{b}_{kd}\end{array}\right]$ Số cột của ma trận đầu tiên (A) phải bằng số hàng của ma trận thứ hai (B). Nếu không, phép nhân không xác định. Cài đặt Python:

def matrix_multiplication(matrix1, matrix2):
    '''
    Multiply matrix1 (m x n) with matrix2 (n x d)
    '''
    matrix1_nrows = len(matrix1)
    matrix1_ncols = len(matrix1[0])
    matrix2_nrows = len(matrix2)
    matrix2_ncols = len(matrix2[0])
    # Khởi tạo ma trận kết quả kích thước m x d
    result = [[0] * matrix2_ncols for _ in range(matrix1_nrows)]
    for i in range(matrix1_nrows):
        for j in range(matrix2_ncols):
            for k in range(matrix2_nrows):
                result[i][j] += matrix1[i][k] * matrix2[k][j]
    return result

Kiểm tra:

matrix1 = [
    [1, 2, 3],
    [4, 5, 6],
    [7, 8, 9]
]
matrix2 = [
    [1, 1, 2, 1],
    [1, 2, 1, 1],
    [1, 1, 2, 2]
]
result = matrix_multiplication(matrix1, matrix2)
for row in result:
    print(row)

Kết quả:

[6, 8, 7, 9]
[15, 20, 19, 21]
[24, 32, 31, 33]

Cài đặt NumPy:

import numpy as np
X = np.array([[1, 2],
              [3, 4]])
Y = np.array([[2, 3],
              [2, 1]])

Lưu ý phân biệt:

• Thứ tự hàng × cột rất quan trọng
• Trong học sâu, cần chú ý thứ tự khi nhân weight matrix × input

Transpose

Other Hadamard operations

argmin and argmax

Khi làm việc với vector hoặc ma trận, đôi khi ta không cần biết giá trị lớn nhất/nhỏ nhất, mà cần biết vị trí (index) của giá trị đó.

• argmin: trả về chỉ số của phần tử nhỏ nhất
• argmax: trả về chỉ số của phần tử lớn nhất ${\text{argmin}}_i(\vec{x})=\left\{i\in D\mid x_i\le x_j\text{ với mọi }j\in D\right\}$ ${\text{argmax}}_i(\vec{x})=\left\{i\in D\mid x_i\ge x_j\text{ với mọi }j\in D\right\}$ Ví dụ: $\vec{x}=\left[\begin{array}{cccc}4& 7& 1& 5\end{array}\right]$ Tìm index nhỏ nhất:

import numpy as np
x = np.array([4, 7, 1, 5])
result = np.argmin(x)
print(result)  # Output: 2

→ Phần tử nhỏ nhất là 1, nằm ở vị trí chỉ số 2 Tìm index lớn nhất:

result = np.argmax(x)
print(result)  # Output: 1

→ Phần tử lớn nhất là 7, nằm ở vị trí chỉ số 1

III. Cosine Similarity

III.1. Dot Product

Tích vô hướng (dot product) là phép toán cơ bản giữa hai vector, trả về một số thực thể hiện mức “thẳng hàng” giữa chúng. Nó cũng chính là độ dài hình chiếu của một vector này lên một vector khác (nếu đã chuẩn hóa). Ví dụ đơn giản: Giả sử bạn có một học sinh được đánh giá qua 3 kỹ năng:

Kỹ năng	Điểm (x)	Trọng số (w)
Kỹ năng đọc	8	0.2
Kỹ năng viết	6	0.3
Kỹ năng tính toán	9	0.5
Tổng điểm trung bình có trọng số:
$\text{Score}=0.2\cdot 8+0.3\cdot 6+0.5\cdot 9$
Đây chính là tích vô hướng giữa 2 vector:
$\vec{w}=\left[\begin{array}{c}0.2\\ 0.3\\ 0.5\end{array}\right],\vec{x}=\left[\begin{array}{c}8\\ 6\\ 9\end{array}\right]\Rightarrow \vec{w}\cdot \vec{x}=0.2\cdot 8+0.3\cdot 6+0.5\cdot 9=1.6+1.8+4.5=7.9$
⇒ Tích vô hướng $\vec{w}\cdot \vec{x}=7.9$ cũng chính là điểm trung bình có trọng số.

Dạng cơ bản – Chiếu lên trục tọa độ

Cho:

• ${\vec{x}}_1=\left(\begin{array}{c}1\\ 0\end{array}\right)$
• ${\vec{x}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$
• $\vec{a}=(a_1,a_2)$ Tích vô hướng: $\begin{array}{rl}{p}_1& ={\vec{a}}^T\cdot {\vec{x}}_1=(a_1,a_2)\cdot \left(\begin{array}{c}1\\ 0\end{array}\right)=a_1\\ p_2& ={\vec{a}}^T\cdot {\vec{x}}_2=(a_1,a_2)\cdot \left(\begin{array}{c}0\\ 1\end{array}\right)=a_2\end{array}$ Khi chiếu lên trục cơ sở chuẩn như $(1,0),(0,1)$, tích vô hướng chính là tọa độ.

Dạng tổng quát – Chiếu lên vector bất kỳ

Cho hai vector bất kỳ:

• ${\vec{v}}_1=\left(\begin{array}{c}{v}_{1,1}\\ v_{1,2}\end{array}\right)$
• ${\vec{v}}_2=\left(\begin{array}{c}{v}_{2,1}\\ v_{2,2}\end{array}\right)$ Với vector $\vec{a}=(a_1,a_2)$, ta tính: $\begin{array}{rl}{q}_1& ={\vec{a}}^T\cdot {\vec{v}}_1=(a_1,a_2)\cdot \left(\begin{array}{c}{v}_{1,1}\\ v_{1,2}\end{array}\right)\\ q_2& ={\vec{a}}^T\cdot {\vec{v}}_2=(a_1,a_2)\cdot \left(\begin{array}{c}{v}_{2,1}\\ v_{2,2}\end{array}\right)\end{array}$ Nếu ${\vec{v}}_1,{\vec{v}}_2$ đã được chuẩn hóa, $q_1,q_2$ chính là độ dài hình chiếu của $\vec{a}$ lên chúng.

Ý nghĩa hình học của dot product

Với hai vector $\vec{a},\vec{b}$, công thức: $\vec{a}\cdot \vec{b}=\Vert \vec{a}\Vert \cdot \Vert \vec{b}\Vert \cdot \cos (\theta )$

• Nếu $\theta =0°$→ dot product lớn nhất
• Nếu $\theta =90°$→ dot product = 0 (vuông góc)
• Nếu $\theta >90°$→ dot product âm Tích vô hướng giúp kiểm tra hướng (cùng chiều hay ngược chiều) và đo khoảng cách góc (nền tảng của cosine similarity).

Tính chất hình học

Nhân vô hướng và nhân vô hướng với vô hướng
Cho: $\vec{u}=\left(\begin{array}{c}3\\ 2\end{array}\right)\Rightarrow \vec{v}=3\cdot \vec{u}=\left(\begin{array}{c}9\\ 6\end{array}\right)\Rightarrow \vec{m}=\vec{u}+\left(\begin{array}{c}3\\ 0\end{array}\right)=\left(\begin{array}{c}6\\ 5\end{array}\right)$ Màu đỏ: Phép nhân vô hướng giữ nguyên hướng, chỉ làm thay đổi độ dài. Màu tím: Phép cộng làm thay đổi góc.

Ví dụ

Trong ví dụ này, ta sẽ dùng cả đại số tuyến tính và hình học để tính tích vô hướng giữa hai vector: $\vec{x}=\left[\begin{array}{c}0\\ 5\end{array}\right],\vec{y}=\left[\begin{array}{c}3\\ 3\end{array}\right]$ Định nghĩa toán học:

• Algebra (đại số): $\vec{x}\cdot \vec{y}={\sum }_{i=1}^n{x}_i{y}_i=0\cdot 3+5\cdot 3=15$
• Geometry (hình học): $\vec{x}\cdot \vec{y}=\Vert \vec{x}\Vert \cdot \Vert \vec{y}\Vert \cdot \cos (\alpha )$ Trong đó, $\alpha =45^{\circ }$, nên: $\cos (\alpha )=\cos \left(\frac{\pi }{4}\right)=\frac{\sqrt{2}}{2}$ Tính độ dài: $\Vert \vec{x}\Vert =\sqrt{0^2+5^2}=5,\Vert \vec{y}\Vert =\sqrt{3^2+3^2}=\sqrt{18}=3\sqrt{2}$ Kết quả: $\vec{x}\cdot \vec{y}=5\cdot 3\sqrt{2}\cdot \frac{\sqrt{2}}{2}=5\cdot 3=15$

Cài đặt bằng Python: Phép tính theo đại số

import numpy as np
x = np.array([0, 5])
y = np.array([3, 3])
dproduct = np.dot(x, y)
print(dproduct)  # Kết quả: 15

Phép tính theo hình học

x_length = np.linalg.norm(x)
y_length = np.linalg.norm(y)
cos_xy = np.cos(np.pi / 4)  # góc 45 độ
dproduct = x_length * y_length * cos_xy
print(dproduct)  # Kết quả: ~15.0

III.2. Cosine Similarity

Cosine similarity (cs) là độ đo phổ biến để so sánh mức độ tương đồng giữa hai vector, đặc biệt trong xử lý ngôn ngữ, truy xuất thông tin, và học máy.

Định nghĩa

Cho hai vector $\vec{x},\vec{y}\in {\mathbb{R}}^n$: $\text{cs}(\vec{x},\vec{y})=\frac{\vec{x}\cdot \vec{y}}{\Vert \vec{x}\Vert \cdot \Vert \vec{y}\Vert }=\frac{{\sum }_{i=1}^n{x}_i{y}_i}{\sqrt{{\sum }_{i=1}^n{x}_i^2}\cdot \sqrt{{\sum }_{i=1}^n{y}_i^2}}$

Tính chất

Property 1 – Bất biến theo scale: $\text{cs}(\vec{x},\vec{y})=\text{cs}(a\vec{x},b\vec{y})\text{với }a,b>0$ Chứng minh: $\text{cs}(a\vec{x},b\vec{y})=\frac{ab\sum x_i{y}_i}{\sqrt{a^2\sum x_i^2}\cdot \sqrt{b^2\sum y_i^2}}=\frac{\sum x_i{y}_i}{\sqrt{\sum x_i^2}\cdot \sqrt{\sum y_i^2}}=\text{cs}(\vec{x},\vec{y})$ Khi hai vector được nhân với hệ số dương, hướng không đổi, nên cosine không đổi.

Property 2 – Không bất biến theo dịch chuyển: $\text{cs}(\vec{x},\vec{y})\ne \text{cs}(\vec{x}+c,\vec{y}+d)$ Thêm hằng số vào các phần tử làm thay đổi góc, vì thay đổi hướng tương đối.

Ví dụ: Cho: $\vec{x}=\left[\begin{array}{c}4\\ 2\\ 1\\ 2\end{array}\right],\vec{y}=\left[\begin{array}{c}1\\ 2\\ 2\\ 0\end{array}\right]$ Tính cs(x, y): $\vec{x}\cdot \vec{y}=4\cdot 1+2\cdot 2+1\cdot 2+2\cdot 0=10$ $\Vert \vec{x}\Vert =\sqrt{4^2+2^2+1^2+2^2}=\sqrt{25},\Vert \vec{y}\Vert =\sqrt{1^2+2^2+2^2+0^2}=\sqrt{9}$ $\text{cs}(\vec{x},\vec{y})=\frac{10}{\sqrt{25}\cdot \sqrt{9}}=\frac{10}{15}=0.67$ Kiểm tra tính chất 1: nhân hệ số $\vec{u}=2\vec{x}=\left[\begin{array}{c}8\\ 4\\ 2\\ 4\end{array}\right],\vec{v}=3\vec{y}=\left[\begin{array}{c}3\\ 6\\ 6\\ 0\end{array}\right]$ Tính: $\vec{u}\cdot \vec{v}=8\cdot 3+4\cdot 6+2\cdot 6+4\cdot 0=60$ $\Vert \vec{u}\Vert =\sqrt{8^2+4^2+2^2+4^2}=\sqrt{100},\Vert \vec{v}\Vert =\sqrt{3^2+6^2+6^2+0^2}=\sqrt{81}$ $\text{cs}(\vec{u},\vec{v})=\frac{60}{\sqrt{100}\cdot \sqrt{81}}=\frac{60}{90}=0.67=\text{cs}(\vec{x},\vec{y})$