אנטרופיה מותנית
קפיצה לניווט
קפיצה לחיפוש

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר (התוחלת היא על שני המשתנים האקראיים).
הגדרה
אם נגדיר את האנטרופיה של בהינתן זאת שתוצאתו של משתנה אקראי היא כ-, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:
במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.
תכונות
לכל שני משתנים אקראיים ו-:
- (כאשר היא האינפורמציה ההדדית)
- , ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, , עם שוויון באותם תנאים.
- , ושוויון מתקבל רק כאשר ו- הפיכה על תחום הערכים ש-X מקבל.
ראו גם
אנטרופיה מותנית34034707Q813908