אנטרופיה מותנית

מתוך המכלול, האנציקלופדיה היהודית
קפיצה לניווט קפיצה לחיפוש
אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי Y בהנחה שתוצאתו של משתנה אקראי אחר X ידועה (התוחלת היא על שני המשתנים האקראיים).

הגדרה

H(Y|X=x) היא האנטרופיה של Y בהינתן שתוצאתו של משתנה אקראי X היא x. לפיכך ההגדרה לאנטרופיה מותנית של משתנים בדידים היא:

H(Y|X) x𝒳p(x)H(Y|X=x)=x𝒳p(x)y𝒴p(y|x)log1p(y|x)=x𝒳y𝒴p(x,y)logp(y|x)=x𝒳,y𝒴p(x,y)logp(y|x)=x𝒳,y𝒴p(x,y)logp(x)p(x,y)

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים X ו-Y:

  • H(Y|X)=H(X,Y)H(X)
  • H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y) (כאשר I(X;Y) היא האינפורמציה ההדדית)
  • H(X|Y)H(X), ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, H(Y|X)H(Y), עם שוויון באותם תנאים.
  • I(X;Y)H(X), ושוויון מתקבל רק כאשר Y=f(X) ו-f הפיכה על תחום הערכים ש-X מקבל.

ראו גם

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

אנטרופיה מותנית41447373Q813908