Download Document

CPE 332
Computer Engineering
Mathematics II
Part II, Chapter 4
Probability and Random Variable
(Review)
Today Topics
• HW 3 Due
•
•
•
•
•
Probability
Random Variable
PDF
Expectation
Concept of Random Process
Definition
• Outcome/Sample Point
่ ตัวอย่าง
– ผลลัพท์ทไี่ ด ้จากการทดลอง หรือสุม
• Sample Space
– Set ของผลลัพธ์ทงั ้ หมด
• Event
– เงือ
่ นไขของการทดลอง
• กาหนด Event A, ถ ้าทดลอง N ครัง้ และ
ได ้ผลลัพธ์เป็ นไปตามเงือ
่ นไข A = NA ครัง้
NA
P[ A]  Probabilit y of Event A Occur  lim
N  N
Example: Dice Roll
• Sample Space = {1,2,3,4,5,6}
• P(1)=P(2)= … =P(6)=1/6
– Laplace Definition of Probability
– ถ ้าแต่ละ Member ใน Sample Space มี
โอกาสเกิดเท่าๆกัน
• A = Even
• A = {2,4,6}
• P(A) = |{2,4,6}|/|S| = 3/6 = ½
Mutually Exclusive
• A ME B
• เมือ
่ เกิด Event A จะเกิด Event B ไม่ได ้
• เมือ
่ ทอยลูเต๋าได ้เลขคู่ จะไม่ใชเ่ ลขคี่
– ดังนัน
้ ถ ้า A = Even, B = Odd
– A ME B
• P(A+B) or P(A union B) = P(A) + P(B)
ั โดยแสดงด ้วย Vein Diagram
• เห็นได ้ชด
A
B
A
B
Mutually Exclusive
A
A
B
B
•
•
•
•
ME
AB =
AB=A+B
P(AB)=P(A)+P(B)
• Non ME
• AB 
• AB=A+B- AB
– Inclusion-Exclusion
Principle
3 AXIOMS OF Probability
• 1. P(S) = 1
– ทุกๆการทดลอง ผลลัพธ์ต ้องอยูใ่ น Sample
Space
• 2. 0 =< P(A) =< 1
– ค่าของ Probability ต ้องอยูร่ ะหว่าง 0 และ 1
• 3. ME: P(A+B)=P(A)+P(B)
– Mutually Exclusive; Probability ของ Union
ของ Event เท่ากับผลบวกของ Probability
ของแต่ละ Event
Conditional Probability
• Probability ของ Event หนึง่ เมือ
่ กาหนดให ้
อีก Event หนึง่ ได ้เกิดขึน
้
– Probability จะเพิม
่ ถ ้าสอง Event เกีย
่ วข ้องกัน
– Probability จะไม่เปลีย
่ นถ ้าสอง Event ไม่เกีย
่ ว
กัน
• เราเรียกว่าเป็ น Statistical Independent
• นอกจากนี้
P[ A \ B]  P[ AB] / P[ B], P[ B \ A]  P[ AB} / P[ A]
P[ A \ B]P[ B]  P[ B \ A]P[ A]
P[ A \ B]  P[ B \ A]P[ A] / P[ B]
Bayes Rule
E1
E3
E6
A
E4
E2
E5
E7
E8
E9
Properties
Example 1
• ในการสง่ ข ้อมูลแบบ Digital เป็ น Frame ขนาด 50 บิต การสง่ จะ
สมบูรณ์ได ้ก็ตอ
่ เมือ
่ ทัง้ Frame ไปถึงอย่างถูกต ้อง ถ ้าการเกิด Error
ในแต่ละบิตของการสง่ (BER = Bit Error Rate) มีโอกาสจะผิดพลาด
ได ้เท่ากับ 1/1000 จงหาว่า Frame ทีส
่ ง่ จะมี Error เฉลีย
่ แล ้วกี่
็ ต์ (FER = Frame Error Rate) ถ ้าการเกิด Error แต่ละ Bit
เปอร์เซน
เป็ น Independent
P[Bit Error]  10-3
P[Bit Not Error]  1 - 10-3  0.999
P[Frame Not Error]  P[50 Bit Not Error]  0.99950
P[Frame Error]  1 - 0.99950  0.04879  4.879%
Example 2
ึ ษาชายจะสอบผ่านวิชา CPE332 มีคา่
• จากสถิต ิ พบว่าโอกาสทีน
่ ักศก
ึ ษาหญิงจะสอบผ่านมีคา่ เท่ากับ 0.4 ถ ้า
เท่ากับ 0.5 และโอกาสทีน
่ ักศก
วิชา CPE332 เทอมนีม
้ น
ี ักเรียนชาย 40 คนและนักเรียนหญิง 25 คน จง
หาว่าเฉลีย
่ แล ้วจะมีนักเรียนตกกีค
่ น
• สามารถคานวนโดยใชค่้ าถ่วงน้ าหนัก
• ให ้ Sample Space ประกอบด ้วยนักเรียนชาย(M) และนักเรียนหญิง(F)
ดังนัน
้ S = {M,F}
– สงั เกตุวา่ Set ทัง้ สองเป็ น ME คือ Sample Space ถูก Partition
เป็ นสอง Partition
– P[M]=40/65 และ P[F]=25/65
ึ ษาจะสอบผ่าน เราได ้
• ให ้ Event A เป็ นเหตุการณ์ทน
ี่ ักศก
• P[A\M]=0.5 และ P[A\F]=0.4
• จากสมการการ Partition
n
P[ A]   P[ Ei ]P[ A \ Ei ]  P[ M ]P[ A \ M ]  P[ F ]P[ A \ F ]
i 1
40
25
 0.5   0.4  0.4615
65
65
P[Fail CPE332]  P[A C ]  1  P[ A]  1  0.4615  0.5385  53.85%

Example3
•
่ ตัวอย่างนักศก
ึ ษามาหนึง่ คนทีล
ต่อจากตัวอย่างที่ 2: ถ ้าเราสุม
่ งวิชา CPE332 เมือ
่ เทอมที่
ึ ษาผ่านวิชานีห
ึ ษาผู ้นัน
แล ้ว จากนัน
้ ถามว่านักศก
้ รือไม่ นักศก
้ ตอบว่าสอบผ่านแล ้ว จง
คานวณว่า
–
–
ึ ษาผู ้นัน
1.โอกาสทีน
่ ั ก ศก
้ จะเป็ นผู ้หญิงเท่ากับเท่าไร
ึ ษาสอบผ่านและเป็ นผู ้หญิงมีเท่าไร
2. Probability ทีน
่ ั ก ศก
• 1. ต ้องการหา P[F\A]
P[ F \ A]  P[ FA] / P[ A]  P[ A \ F ]P[ F ] / P[ A]
25
1
 0.4  
 0.3334  33.34%
65 0.4615
• 2. ต ้องการหา P[FA]=P[FA]
P[ F \ A]  P[ FA] / P[ A]
P[ FA]  P[ F \ A]P[ A]  P[ A \ F ]P[ F ]
 0.3334  0.4615  0.1539  15.39%
Random Variables
• เมือ
่ เรากาหนดค่าเป็ นตัวเลขของทุกๆ Sample
Point ใน Sample Space และถ ้าให ้ Variable
แทนผลลัพธ์ทไี่ ด ้จากการทดลอง ดังนัน
้ ผลของการ
ทดลองจะมีคา่ เป็ นตัวเลข และเราเรียก Variable
นัน
้ ว่าเป็ น Random Variable ซงึ่ ปกติแล ้วเรา
มักจะให ้ Random Variable แทนด ้วยตัว Capital
• ทีส
่ าคัญคือ การกาหนด RV ซงึ่ เป็ นตัวเลขทาให ้เรา
สามารถนาไปคานวณต่อทางคณิตศาสตร์ได ้
– Mean
– Variance
– Etc.
Random Variables
• เมือ
่ ผลลัพธ์ของการทดลอง(Sample Space)ได ้ Infinite
Set การกาหนดตัวเลขมักจะเป็ นตัวเลขทีต
่ อ
่ เนือ
่ ง
– เราได ้ Continuous Random Variable
• เมือ
่ ผลลัพธ์เป็ น Finite Set การกาหนดจะใช ้ Set ของ
ตัวเลข มักจะเป็ น Integer
– เราได ้ Discrete Random Variable
• Probability ทีจ
่ ะได ้ผลลัพธ์การทดลองหนึง่ ๆ คือ
Probability ที่ Random Variable จะมีคา่ ตามทีเ่ รา
กาหนด
• เราสามารถแสดงคุณสมบัตข
ิ อง RV จากการ Plot ค่า
Probability(y-axis) และค่าของ Random Variable(xaxis)
– Cumulative Distribution Function (CDF)
– Probability Density Function (PDF)
CDF:Cumulative Distribution
Function of RV X
FX(x)
1.0
FX (10) = P[X ≤ 10]
x = 10
CDF of Normal (Gaussian) Distribution: Continuous
x
CDF Properties
CDF การทอยเหรียญ: Discrete RV
• ให ้ “หัว”= 0 และ “ก ้อย” = 1
FX(x) = P(X ≤ x)
1.0
0.5
0
0
1
x
CDF การทอยลูกเต๋า: Discrete RV
• ให ้ ผลเป็ นตัวเลขตามหน ้าลูกเต๋า
FX(x) = P(X ≤ x)
1.0
0.5
0
0
1
2
3
4
5
6
7
x
PDF: Probability Density
Function
f(x)
Area = ∫f(x)dx = 1
x
PDF of Normal(Gaussian) Distribution : Continuous
Properties of PDF
Discrete Version
– ค่าของ Variable ไม่ตอ
่ เนือ
่ ง
• RV X มีคา่ เฉพาะที่ X=xi
– F(x) = P(X≤x)
•
•
•
•
Function นีม
้ ค
ี วามต่อเนือ
่ งด ้านขวามือ
นิยามสาหรับทุกจุดใน Domain ของ x
Function เป็ นลักษณะขัน
้ บรรได
Monotonic Increasing Function จาก 0 ถึง 1
– f(xi) = P(X = xi)
• นิยามเฉพาะจุด ไม่ตอ
่ เนือ
่ ง ค่าเป็ นศูนย์ระหว่างนัน
้
• บางทีเรียก Probability Mass Function
• ∑f(xi)=1 เสมอ
f(x)
PMF
x
F(x)
CDF
x
Statistical Average
Discrete Version :
E[ g ( X )] 
 g ( x ) p( x )
x i  X
i
i
Importance Expectation
Discrete Version :
N
1 N
E[ X ]   xi p( xi )   xi p ( xi )   xi | p( xi ) 
N i 1
xi  X
i 1
1
E[ X ]   x p ( xi ) 
N
xi X
2
 X2 
2
i
N
2
x
 i | p( xi ) 
i 1
1
N
2
2
(
x


)
p
(
x
)

E
[
X
]  E[ X ]
 i X
i
xi  X
1
N
• Note:
่ ตัวอย่าง เราได ้เฉพาะค่า
– ในกรณีของ Data ทีไ่ ด ้จากการสุม
Estimate ของ Mean และ Mean Square เท่านัน
้ และ
From n Samples : p( xi )  N1 , Each sample has the same probabilit y
ˆ X  X 
N
1
N
x
i 1
i
Estimate E[ X ]  X 
2
2
N
1
N
x
i 1
2
i
 X2  E[ X 2 ]  E[ X ] from estimation is biased.
We use the least biased formular :
SampleVari ance(Estim ated) : V  s
2
X
2
N 1

1  N

  ( xi  X ) 2 
N  1  i 1

Joint Moment
Correlation
• G(x,y) = XY
N
M
N
M
Discrete Version : RXY   xi y j p( xi , y j )   xi y j p( xi ) p( y j )
i 1 j 1
N
M
i 1 j 1
1 N
1
  xi p( xi ) yi p( yi ) | independent   xi
N i 1 M
i 1
i 1
M
 y | p( x ) 
i 1
i
i
1
N
, p( yi ) 
1
M
Covarience
Correlation and Covarience
PDF ทีส
่ าคัญ
1.0
P[X=x]
P[X<=x]
p
0
q
1
x
Binomial Distribution
n
n!
C (n, k )  Ckn  nCk    
 k  k!(n  k )!
b(k;10,0.5)
b(k;10,0.2)
Geometric Distribution
P=0.5
P=0.2
Uniform Distribution
f(x)
1/(b-a)
a
b
x
Gaussian Distribution
Gaussian
Area = 1
Jointly Gaussian: X, Y
P=0
Volumn = 1
P = 0.5
P = 0.9
P = 0.95
P = -0.99
Exponential Distribution
Exponential Distribution
A=1
Area = 1
Poisson Distribution
Lambda = 1
Lambda = 3
Lambda = 5
Lambda = 8
Lambda = 12
Lambda = 18
Random Process
• เมือ
่ Random Variable เป็ น Function กับเวลา
–
–
–
–
ั ญาณทีม
่ Noise
สญ
่ ล
ี ก
ั ษณะ Random เชน
การสง่ Packet ใน Network
จานวนรถทีว่ งิ่ บนถนน
้ การ
จานวนลูกค ้าทีเ่ ข ้ามาใชบริ
• เหล่านี้ ในแต่ละเวลาหนึง่ ๆ ค่าของมันจะมีลก
ั ษณะเป็ น
Random คือมี PDF ตามแต่ชนิดของมัน
– ทีเ่ วลาต่างกัน PDF อาจจะเปลีย
่ น และค่าทางสถิตจิ ะเปลีย
่ นตาม
• Random Variable ทีเ่ ป็ น Function (Random Function
หรือ Analytic Function) กับเวลา เราเรียก Random
Process หรือ Stochastic Process
– จาก RV X จะเป็ น X(t)
– Mean และ Variance จะเป็ น Function กับเวลาด ้วย
ั ซอนกว่
้
• การวิเคราะห์จะซบ
า RV และจะเป็ นหัวข ้อทีจ
่ ะพูดใน
ั ดาห์หน ้า
สป
Homework IV Due Next Week
• Download จาก Web
• Next Week Chapter V
– Random Process
– MarKov Process and MarKov Chain