אנטרופיה מותנית

מתוך המכלול, האנציקלופדיה היהודית
קפיצה לניווט קפיצה לחיפוש
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי Y בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר X (התוחלת היא על שני המשתנים האקראיים).

הגדרה

אם נגדיר את האנטרופיה של Y בהינתן זאת שתוצאתו של משתנה אקראי X היא x כ-H(Y|X=x), אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

H(Y|X) x𝒳p(x)H(Y|X=x)=x𝒳p(x)y𝒴p(y|x)log1p(y|x)=x𝒳y𝒴p(x,y)logp(y|x)=x𝒳,y𝒴p(x,y)logp(y|x)=x𝒳,y𝒴p(x,y)logp(x)p(x,y).

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים X ו-Y:

  • H(Y|X)=H(X,Y)H(X)
  • H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y) (כאשר I(X;Y) היא האינפורמציה ההדדית)
  • H(X|Y)H(X), ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, H(Y|X)H(Y), עם שוויון באותם תנאים.
  • I(X;Y)H(X), ושוויון מתקבל רק כאשר Y=f(X) ו-f הפיכה על תחום הערכים ש-X מקבל.

ראו גם

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

אנטרופיה מותנית34034707Q813908