Lý thuyết xác suất thống kê
Xác suất thống kê là nền tảng quan trọng của các mô hình học máy và phân tích dữ liệu. Bài viết này là ghi chép của tôi về các kiến thức, khái niệm cơ bản nhất về xác suất thống kê, từ đó có thể giúp người đọc tiếp cận và xem lại các kiến thức cho bộ môn này.
Bạn đang xem: Lý thuyết xác suất thống kê
Xác suất, xác suất có điều kiện, công thức Bayes
1. Phép thử, sự kiện, không gian mẫu
Khái niệmPhép thử ngẫu nhiên là một chuỗi các phương thức thực hiện và quan sát một thí nghiệm nào đó cho chúng ta kết quả mà ta không thể dự đoán trước được.
Sự kiện sơ cấp là kết quả quan sát được đơn giản nhất không thể tách nhỏ hơn của một phép thử.
Không gian mẫu ($S$) là tập hợp tất cả các sự kiện sơ cấp của một phép thử và xung khắc với nhau, ký hiệu S.
Tập con bất kỳ của không gian mẫu được gọi là sự kiện.
Tính chấtKhông gian mẫu $\Omega$ là một tập hợp, sự kiện là tập con của $\Omega$ nên các mỗi quan hệ (tập con, tương đương) và các phép toán (hợp, giao, phần bù, trừ) cũng tương tự như ký thuyết tập hợp.
Tính xung khắc: $ A_{1}, \dots , A_{n} $ được gọi là xung khắc nếu $ A_{i} \cap A_{j} = \emptyset, \forall i \ne j$.
Tính đầy đủ: $ A_{1}, \dots , A_{n} $ được gọi là đầy đủ nếu $ A_{i} \cup \dots \cup A_{n} = S $.
Không gian các sự kiện: $ A_{1}, \dots , A_{n} $ được gọi là một không gian các dự kiện nếu nó vừa xung khắc, vừa đầy đủ.
2. Xác suất
Khái niệm, tính chấtXác suất của một phép thử là một ánh xạ $ P(.) $ từ không gian mẫu vào tập số thực thoả mãn:
Với mọi sự kiện $A$ thì $P(A) \geq 0$.$P(\Omega) = 1$.Cho $ A_{1}, A_{2},\dots $ xung khắc thì:$$P(A_{1} \cup A_{2} \dots) = P(A_{1}) + P(A_{2}) + \dots$$
Từ 3 tiên đề trên, ta có các tính chất:
$P(\emptyset) = 0$$A, B$ xung khắc thì $P(A \cup B) = P(A) + P(B)$.$A, B$ bất kỳ $P(A \cup B) = P(A) + P(B) - P(A \cap B) $.Định nghĩa xác suất cổ điểnXác suất cổ điển được xây dựng trên các không gian mẫu hữu hạn và đồng khả năng $\Omega = {w_1, w_2, \dots, w_n}$.
Vì các sự kiện có đồng khả năng xảy ra nên $P(w_1) = P(w_2) = \dots = P(w_n)$.
Xem thêm: Độ Lớn Của Lực Ma Sát Phụ Thuộc Vào Yếu Tố Nào ? Please Wait
Do $1 = P(\Omega) = P({w_1}) + P({w_2}) + \dots + P({w_n}) = nP({w_1})$ nên $P({w_i}) = \frac{1}{n}, \forall i = \overline{1,n}$.
A là một sự kiện thì $P(A) = \frac{\#A}{\#\Omega}$.
Xác suất có điều kiệnMột phép thử nếu biết sự kiện $B, P(P) \ne 0$ đã xảy ra thì xác suất sự kiện A xảy ra là xác suất có điều kiện $P(A|B)$ được xác định bởi công thức:
$$P(A|B) = \frac{P(A \cap B)}{P(B)}$$
Công thức nhân:$$P(A \cap B) = P(B).P(A|B) = P(A).P(B|A)$$
Hai sự kiện được gọi là độc lập nếu và chỉ nếu:$$P(A \cap B) = P(A).P(B)$$
3. Công thức Bayes
Xác suất toàn phần$$\sum_{i=1}^n(P(A_i.P(B|A_i)))$$
Công thức BayesCông thức Bayes cho 2 sự kiện $A$, $B$
Cho hai sự kiện $A, B$ và $P(A), P(B)$ là hai xác suất được quan sát độc lập với nhau.
$P(A)$ được gọi là xác suất tiên nghiệm (Prior).$P(B)$ được gọi là xác suất hậu nghiệm (Evidence).$P(B) = P(B|A) \times P(A) + P(B|\bar{A}) \times P(\bar{A})$.$P(A|B)$ được gọi là xác suất hậu nghiệm (Posterior).$P(B|A)$ được gọi là xác suất có thể đúng (Likelihood).Ta có công thức Bayes cho 2 sự kiện $A$ và $B$
$$P(A|B) = \frac{P(A).P(B|A)}{P(B)}$$
$$Posterior = Likelihood \times Prior / Evidence$$
Công thức Bayes tổng quát:
Cho không gian các sự kiện $A_1, \dots, A_n$. B là một sự kiện nào đó.
Ta có công thức xác suất toàn phần:
$$P(B) = \sum_{i=1}^{n}P(A_i).P(B|A_i)$$
Công thức Bayes tổng quát cho nhiều sự kiện:
$$P(A_i|B) = \frac{P(A_i \cap B)}{P(B)} = \frac{(P(A_i \cap B))}{\sum_{i=1}^n(P(A_j).P(B|A_j))}$$
Biến ngẫu nhiên và phân phối xác suất
1. Biến ngẫu nhiên
Khái niệmBiến ngẫu nhiên (random variables) là các biến nhận 1 giá trị ngẫu nhiên đại diện cho kết quả của phép thử. Mỗi giá trị nhận được $x$ của biến ngẫu nhiên $X$ được gọi là một thể hiện của $X$, đây cũng là kết quả của phép thử hay còn được hiểu là một sự kiện.
Biến ngẫu nhiên có 2 dạng:
Liên tục (continous): tập giá trị là liên tục tức là lấp đầy 1 khoảng trục số, không đếm được.Ví dụKhi gieo 2 con xúc sắc, gọi X, Y lần lượt là số chấm xuất hiện trên mặt của con thứ nhất và thứ 2 thì X, Y là hai biến ngẫu nhiên vì có cùng kết quả kiểu số. Các hàm số như $X + Y, 2XY, sin(XY)$ cũng là các biến ngẫu nhiên.
2. Phân phối xác suất
Hàm trọng số (Probability mass function - PMF)Xét biến ngẫu nhiên rời rạc $X$ có miền giá trị có thể nhận $(x_1, x_2, \dots, x_n$. Hàm trọng số của một biến ngẫu nhiên rời rạc ký hiệu là:
$$P_X(x) = P(X = x), \forall x \in \mathbb{R}$$
Ý nghĩa: Hàm trọng số thể hiện khả năng xảy ra tại một điểm $x$.
Bảng phân phối xác suất
| $P_X(x)$ | P_X(x_1) | $\dots$ | $P_X(x_n)$ |
Tính chất
$P_X(x) \geq 0, \forall x \in \mathbb{R}$$\sum_{i=1}^{n}P_X(x_i) = 1$Hàm phân phối xác suất (Cumulative distribution function - CDF)Hàm phân phối xác suất của biến ngẫu nhiên $X$ là hàm được xác định bởi công thức:
$$F_X(x) = P(X \le x), \forall x \in \mathbb{R}$$
Ý nghĩa: Hàm phân phối xác suất là xác suất của sự kiện "biến ngẫu nhiên $X$ nhận giá trị nằm trong khoảng từ $−\infty$ tới $x$". Khi có hàm phân phối ta thực hiện với hàm giảitích thay vì làm với các phép toán với sự kiện.
Tính chất
$F_x(-\infty) = 0; F_X(+\infty) = 1$$P(X \leq a) = F_X(a); P(X > a) = 1 - F_X(a)$$P(a$X$ là biến ngẫu nhiên rời rạc thì $F_X(x) = \sum x_i Ví dụ cho hàm trọng số và hàm phân phối xác suất
Gieo một con xúc sắc. $X$ là số chấm xuất hiện. Các giá trị X có thể nhận là $S = \{1, 2, 3, 4, 5, 6\}$
Hàm trọng số$$P_X(x) =\begin{cases}1/6; & x \in \Omega \\0; & x \notin \Omega\end{cases}$$
Hàm phân phối xác suất $F_X(x) =\begin{cases}0; & xGiả lập thí nghiệm gieo xúc sắc
Mô phỏng tung một con xúc sắc cân đối đồng chất 5000 lần.
Xem thêm: Khi Nhiệt Phân Hoàn Toàn Kno3 Thu Được Sản Phẩm Là, Nhiệt Phân Kno3
