Quá_trình_Markov

Trong lý thuyết xác suất, quá trình Markov là một quá trình mang tính ngẫu nhiên (stochastic process) với đặc tính như sau: trạng thái c k {\displaystyle c_{k}} tại thời điểm k {\displaystyle k} là một giá trị trong tập hữu hạn { 1 , … , M } {\displaystyle \{1,\ldots ,M\}} . Với giả thiết rằng quá trình chỉ diễn ra từ thời điểm 0 đến thời điểm N và rằng trạng thái đầu tiên và cuối cùng là đã biết, chuỗi trạng thái sẽ được biểu diễn bởi một vectơ hữu hạn C = ( c 0 , . . . , c N ) {\displaystyle C=(c_{0},...,c_{N})} .Nếu P ( c k | c 0 , c 1 , . . . , c ( k − 1 ) ) {\displaystyle P(c_{k}|c_{0},c_{1},...,c_{(k-1)})} biểu diễn xác suất (khả năng xảy ra) của trạng thái ck tại thời điểm k khi đã trải qua mọi trạng thái cho đến thời điểm k − 1. Giả sử trong quá trình đó thì c k {\displaystyle c_{k}} chỉ phụ thuộc vào trạng thái trước c k − 1 {\displaystyle c_{k-1}} và độc lập với mọi trạng thái trước khác. Quá trình này được gọi là quá trình Markov bậc 1 (first-order Markov process). Có nghĩa là xác suất để trạng thái ck xảy ra tại thời điểm k, khi biết trước mọi trạng thái cho đến thời điểm k − 1 chỉ phụ thuộc vào trạng thái trước, ví dụ: trạng thái ck−1 của thời điểm k − 1. Khi đó ta có công thức:Nói tóm lại, một hệ có thuộc tính Markov được gọi là quá trình Markov (bậc 1).Như vậy, với quá trình Markov bậc n,Nói chung, với giải thuật Viterbi, quá trình xảy ra bên dưới được xem là một quá trình Markov với các đặc tính sau: