אלגוריתם לויד-מקס

אלגוריתם לויד-מקס הוא אלגוריתם הקרוי על שמו של סטוארט לויד למציאת חלוקה לקבוצות של נקודות במרחב אוקלידי לתאים קמורים. בדומה לאלגוריתם k-מרכזים, האלגוריתם מוצא נקודות מרכז לכל קבוצה בחלוקה, ואחר כך מחלק את הנקודות בהתאם לקרבתן למרכזים. בהקשר זה פעולת המיצוע על הנקודות מוחלפת באינטגרל על שטח המרחב, ופעולת מציאת המרכזים הקרובים יוצרת דיאגרמת וורונוי.

את האלגוריתם ניתן להפעיל במרחב אוקלידי, אך אלגוריתמים דומים יכולים להיות מופעלים על מרחבים מממד גבוה יותר או למרחבים לא אוקלידים.

בקוונטיזציה, האלגוריתם מאפשר למזער את השגיאה הריבועית הממוצעת.

הדגמה של אלגוריתם לויד-מקס. דיאגרמת וורונוי מוצגת עבור הנקודות בכל שלב. סימני הפלוס מסמנים את המרכזים של תאי וורונוי.

איטרציה 1

איטרציה 2

איטרציה 3

איטרציה 15

בתרשים האחרון, הנקודות סמוכות למרכזים של תאי וורונוי.

קוונטיזציה אחידה ושגיאת קוונטיזציה

בקוונטיזציה אחידה, בהינתן N, מספר הרמות שאליהן אנו מחלקים את הטווח, מספיק לקבוע את רמת הקוונטיזציה הראשונה ואת ההפרש בין הרמות, וכך הקוונטיזציה נקבעת חד-חד-ערכית. אולם, הדבר מגביל אותנו מבחינת שגיאת הקוונטיזציה שאותה ניתן להשיג. נרצה להשיג חופש גדול יותר בבחירת מדרגות הקוונטיזציה וערכיהן בשביל לקבל שגיאה נמוכה יותר.

$M S E = \int_{- \infty}^{a 1} (x - x_{1})^{2} f_{x} (x) d x + \sum_{i = 2}^{N} \int_{a_{i - 1}}^{a_{i}} (x - x_{i})^{2} f_{x} (x) d x + \int_{a_{N - 1}}^{\infty} (x - x_{N})^{2} f_{x} (x) d x +$

נחשב את $x_{i}$ ו- $a_{i}$ האופטימליים:

עבור $a_{i}$ , נגזור ונשווה ל-0:

$\frac{d M S E}{d a_{i}} = f_{x} (a_{i}) [(a_{i} - x_{i})^{2} - (a_{i} - x_{i + 1})^{2}] = 0$

(שכן, $\frac{d}{d b} \int_{a}^{b} g (x) d x = g (b), \frac{d}{d a} \int_{a}^{b} g (x) d x = g (a)$ )

ואזי, נקבל $a_{i}$ האופטימלי:

$a_{i} = \frac{x_{i} + x_{i + 2}}{2}$

עבור $x_{i}$ , נגזור ונשווה ל-0:

$\frac{d M S E}{d a_{i}} = 2 \int_{a_{i - 1}}^{a_{i}} (x_{i} - x) f_{x} (x) d x = 0$

$x_{i} \int_{a_{i - 1}}^{a_{i}} f (x) d x = \int_{a_{i - 1}}^{a_{i}} x f (x) d x$

ואזי, נקבל $x_{i}$ האופטימלי:

$x_{i} = \frac{\int_{R_{i}} x f (x) d x}{\int_{R_{i}} f (x) d x}$

כאשר: $R_{i} \in {a_{i - 1}, a_{i}}$