אנטרופיה (סטטיסטיקה)

בסטטיסטיקה ובתחומים נוספים, ובעיקר בתורת האינפורמציה, אנטרופיה (באנגלית: Entropy) היא מדד לגודלו האפקטיבי של מרחב התפלגות. את מושג האנטרופיה המתמטית פיתח אבי תורת האינפורמציה קלוד שאנון ב־1948.

לדוגמה, הטלת מטבע מחזירה אחת מבין שתי אפשרויות, והטלת קובייה מחזירה אחת מבין שש אפשרויות. ברור שקשה יותר לקלוע לתוצאת הטלת הקוביה מאשר לזו של המטבע. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן לתוצאה 7 שכיחות גבוהה יחסית (P=1/6), ואילו ל-2 ול-12 שכיחות נמוכה פי 6 (P=1/36). כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (בהתפלגות אחידה). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה בפיזיקה, בתורת האינפורמציה בביולוגיה (שם היא נקראת מדד שאנון-ויבר) ובתחומים נוספים.

הגדרה ואקסיומטיקה

אם X הוא מרחב הסתברות סופי, עם הסתברויות הבאות $\ p_{1},\dots ,p_{n}$ המייצגות את המאורעות השונים במרחב, אזי האנטרופיה שלו מוגדרת לפי הנוסחה

הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ H(X) = - \sum_i p_i \log_2(p_i)} .

זהו ערך חיובי, המקיים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ H(X) \leq \log_2(n)} , עם שוויון רק כאשר ההסתברויות שוות כולן זו לזו. במובן זה, האנטרופיה מייצגת את הלוגריתם של גודל המרחב, ולא את הגודל עצמו. על־פי אותה נוסחה בדיוק אפשר לחשב את האנטרופיה של משתנה מקרי (המקבל מספר סופי של ערכים). בשני המקרים, האנטרופיה אינה מתחשבת בטיבם של המאורעות השונים במרחב, אלא בהסתברות שהם יתרחשו.

את "מספר האפשרויות" שמייצג X אפשר למדוד בדרכים נוספות, כגון ספירת מצבים נאיבית (n, במקרה שלנו), ממוצע הרמוני של ההסתברויות (הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ (\sum p_i^{-1}/n)^{-1}} ), ועוד. הסיבה לכך שמדד האנטרופיה נחשב למדד המתאים בהקשרים רבים כל־כך קשורה לכמה תכונות יסודיות שהוא מקיים.

כדי שניתן יהיה להסביר תכונות אלה, עלינו להזכיר מושג יסודי אחר בסטטיסטיקה: התפלגות מותנית. אם X ו־Y שני משתנים מקריים, אז עבור כל ערך אפשרי y של Y, אפשר לבנות משתנה מקרי חדש הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ X|Y=y} , "המשתנה המותנה", המייצג את הערכים שיכול לקבל X אם ידוע ש־Y קיבל את הערך y. כאשר הערך של Y אינו ידוע, מסמנים את המשתנה המותנה בסימון הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ X|Y} ; זהו, אם כך, משתנה מקרי, שהתפלגותו המדויקת תלויה בערך שיקבל Y.

נניח ש־S הוא מדד לגודלו של מרחב התפלגות: לכל מרחב סופי X, קיים גודל הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ S(X)} . מתברר שמארבע האקסיומות הבאות נובע ש־S=H, כלומר, S מחושבת על-פי הנוסחה שהוצגה ל־H.

1. אדיטיביות. אם X ו־Y שני משתנים מקריים בלתי תלויים, אז $\ S(X,Y)=S(X)+S(Y)$. במלים אחרות, S של מכפלה ישרה של מרחבי התפלגות שווה לסכום ערכי S של שני המרחבים.
2. פיצול. אם X משתנה מקרי ו־Y פונקציה של X, אז הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ S(X)=S(X|Y)+S(Y)} , כאשר הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ S(X|Y)} מייצג את התוחלת של הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ S(X|Y=y)} במעבר על כל הערכים האפשריים של Y.
3. רציפות. הערך של S עבור משתנה ברנולי הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ b(p)} הוא פונקציה רציפה של p.
4. נורמליות. הערך של S עבור ההתפלגות האחידה שלה שני מצבים, הוא 1.

כאמור, אנטרופית שאנון, H לעיל, היא היחידה המקיימת ארבע דרישות אלה.

דוגמה

נפתור את הדוגמה שבפתיח (מה יותר קשה לחיזוי - סכום הטלת שתי קוביות או התפלגות אחידה בין 9 תוצאות): למרחב אחיד בגודל 9 יש 9 תוצאות שלכולן ההסתברות היא הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle {1 \over 9}} ולכן האנטרופיה היא הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle 9 \cdot (- {1 \over 9} \log_2\left({1 \over 9}\right)) = \log_2(9) \approx 3.17} , ואילו האנטרופיה של מרחב התוצאות האפשריות של סכום שתי קוביות היא

הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \begin{align} \ -\sum p_i \log_2(p_i) = - [ 2 \cdot ({1 \over 36} \log_2\left({1 \over 36}\right)) + 2 \cdot ({1 \over 18} \log_2\left({1 \over 18}\right)) + 2 \cdot ({1 \over 12} \log_2\left({1 \over 12}\right)) + 2 \cdot ({1 \over 9} \log_2\left({1 \over 9}\right))+\\ 2 \cdot ({5 \over 36} \log_2\left({5 \over 36}\right)) + ({1 \over 6} \log_2\left({1 \over 6}\right)] \approx 3.27. \end{align} }

כלומר, קשה יותר לחזות את התוצאה של סכום שתי קוביות מאשר את התוצאה של בחירה אקראית מתוך 9 אפשרויות.

שימושים

לאנטרופיה של שאנון קשר הדוק ליכולת לדחוס אינפורמציה וליכולת ללמוד מהאינפורמציה באמצעות אלגוריתמים של למידה חישובית. מושגים נוספים הקשורים לאנטרופיה קשר הדוק הם אינפורמציה הדדית ואנטרופיה מותנית. לאנטרופיה יש גם קשר עמוק למושג סיבוכיות קולמוגורוב.

ראו גם

• אנטרופיה
• מרחק לוינשטיין