2. Giải tích ma trận

1. Đạo hàm của hàm trả về một số vô hướng

Đạo hàm bậc nhất (first-order gradient) hay viết gọn là đạo hàm (gradient) của một hàm số $f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$ theo $\mathbf{x}$ được định nghĩa là:

$${\nabla }_{x}f(x)\triangleq \left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ⋮\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]\in {\mathbb{R}}^n\text{\hspace{1em}(2.1)}$$

Trong đó $\frac{\partial f(x)}{\partial x_i}$ là đạo hàm riêng (partial derivative) của hàm số theo thành phần thứ $i$ của vector $\mathbf{x}$.

Đạo hàm này được lấy khi tất cả các biến, ngoại trừ $x_i$, được giả sử là hằng số. Nếu không có thêm biến nào khác, ${\nabla }_{\mathbf{x}}f(x)$ thường được viết gọn là $\nabla f(x)$ Đạo hàm của hàm số này là một vector có cùng chiều với vector đang được lấy đạo hàm. Tức nếu vector được viết ở dạng cột thì đạo hàm cũng phải được viết ở dạng cột.

Đạo hàm bậc hai (second-order gradient) của hàm số trên còn được gọi là Hessian và được định nghĩa như sau, với $S^n\in R^{n\times n}$ là tập các ma trận vuông đối xứng bậc n.

$${\nabla }^{2}f(\mathbf{x})\triangleq \left[\begin{array}{cccc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_n^2}\end{array}\right]\in {\mathbb{S}}^n$$

Đạo hàm của một hàm số $f(\mathbf{x}):{\mathbb{R}}^{n\times m}\to \mathbb{R}$ theo ma trận $\mathbf{X}$ được định nghĩa là

$$\nabla f(\mathbf{x})=\left[\begin{array}{cccc}\frac{\partial f(\mathbf{x})}{\partial x_{11}}& \frac{\partial f(\mathbf{x})}{\partial x_{12}}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_{1m}}\\ \frac{\partial f(\mathbf{x})}{\partial x_{21}}& \frac{\partial f(\mathbf{x})}{\partial x_{22}}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_{2m}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_{n1}}& \frac{\partial f(\mathbf{x})}{\partial x_{n2}}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_{nm}}\end{array}\right]\in {\mathbb{R}}^{n\times m}$$

Chiều của đạo hàm: Đạo hàm của hàm số $f:{\mathbb{R}}^{m\times n}\to \mathbb{R}$ là một ma trận trong ${\mathbb{R}}^{m\times n},\forall m,n\in {\mathbb{N}}^{\ast }$.

Để tính đạo hàm của một hàm $f:{\mathbb{R}}^{m\times n}\to \mathbb{R}$, ta tính đạo hàm riêng của hàm số đó theo từng thành phần của ma trận khi toàn bộ các thành phần khác được giả sử là hằng số.
Tiếp theo, ta sắp xếp các đạo hàm riêng tính được theo đúng thứ tự trong ma trận. Cụ thể, để tính đạo hàm của một hàm $f:{\mathbb{R}}^{m\times n}\to \mathbb{R}$, ta tính đạo hàm riêng của hàm số đó theo từng thành phần của ma trận khi toàn bộ các thành phần khác được giả sử là hằng số.

Ví dụ: Xét hàm số $f:{\mathbb{R}}^2\to \mathbb{R}$, $f(x)=x_1^2+2x_1{x}_2+\sin (x_1)+2$ Đạo hàm bậc nhất theo $x$ của hàm số đó là:

$$\nabla f(x)=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\end{array}\right]=\left[\begin{array}{c}2x_1+2x_2+\cos (x_1)\\ 2x_1\end{array}\right]$$

Đạo hàm bậc hai theo $x$, hay Hessian, là:

$${\nabla }^{2}f(x)=\left[\begin{array}{cc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_2^2}\end{array}\right]=\left[\begin{array}{cc}2-\sin (x_1)& 2\\ 2& 0\end{array}\right]$$

Chú ý: Hessian luôn là một ma trận đối xứng.

6. Kiểm tra đạo hàm

Việc tính đạo hàm của hàm nhiều biến thông thường khá phức tạp và rất dễ mắc lỗi. Trong thực nghiệm, có một cách để kiểm tra liệu đạo hàm tính được có chính xác không. Cách này dựa trên định nghĩa của đạo hàm cho hàm một biến.

6.1. Xấp xỉ đạo hàm của hàm một biến

---