אנטרופיה מותנית
קפיצה לניווט
קפיצה לחיפוש

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי בהנחה שתוצאתו של משתנה אקראי אחר ידועה (התוחלת היא על שני המשתנים האקראיים).
הגדרה
היא האנטרופיה של בהינתן שתוצאתו של משתנה אקראי היא . לפיכך ההגדרה לאנטרופיה מותנית של משתנים בדידים היא:
במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.
תכונות
לכל שני משתנים אקראיים ו-:
- (כאשר היא האינפורמציה ההדדית)
- , ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, , עם שוויון באותם תנאים.
- , ושוויון מתקבל רק כאשר ו- הפיכה על תחום הערכים ש-X מקבל.
ראו גם
אנטרופיה מותנית41447373Q813908