الگوریتم محاسبه واریانس

الگوریتم Naïve

فرمول محاسبه واریانس جامعه آماری با اندازه N به این صورت است:

${\displaystyle \sigma ^{2}=\displaystyle {\frac {\sum _{i=1}^{N}x_{i}^{2}-(\sum _{i=1}^{N}x_{i})^{2}/N}{N}}.\!}$

فرمول محاسبه تخمین unbiased از واریانس جامعه آماری از یک نمونه محدود از n مشاهده به این صورت می‌باشد:

${\displaystyle s^{2}=\displaystyle {\frac {\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}/n}{n-1}}.\!}$

بنابراین الگوریتم naive برای محاسبه واریانس تخمینی به صورت زیر می‌باشد:

def naive_variance(data):
    n = 0
    Sum = 0
    Sum_sqr = 0
    
    for x in data:
        n = n + 1
        Sum = Sum + x
        Sum_sqr = Sum_sqr + x*x
     
    variance = (Sum_sqr - (Sum*Sum)/n)/(n - 1)
    return variance

این الگوریتم به راحتی می‌تواند برای محاسبه واریانس یک جامعه محدود به کار رود: فقط کافیست که در خط آخر به جای تقسیم بر N، بر n − 1 تقسیم گردد. چون Sum_sqr و (Sum*Sum)/n می‌توانند مقدار بسیار نزدیکی داشته باشند، تقریب زدن می‌تواند منجر شود که دقت نتیجه بسیار کمتر از دقت ذاتی موجود در محاسبات ممیز شناور شود. بنابراین این الگوریتم نباید در عمل مورد استفاده قرار گیرد.[1][2] این موضوع بخصوص در مواردی که انحراف معیار نسبت به میانگین بسیار کوچک است، تشدید می‌شود. اگرچه، این الگوریتم می‌تواند با استفاده از روش میانگین مفروض بهبود یابد.

الگوریتم دومرحله‌ای

یک روش جایگزین، استفاده از فرمول دیگری برای محاسبه واریانس می‌باشد، به این صورت که ابتدا میانگین نمونه را محاسبه می‌کند:

${\displaystyle {\bar {x}}=\displaystyle {\frac {\sum _{j=1}^{n}x_{j}}{n}}}$,

و سپس مجموع مربعات فاصله از میانگین را بدست می‌آورد:

${\displaystyle \mathrm {variance} =s^{2}=\displaystyle {\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}{n-1}}\!}$,

S برابر با مقدار انحراف معیار است، که با استفاده از شبه کد زیر به دست می‌آید:

def two_pass_variance(data):
    n    = 0
    sum1 = 0
    sum2 = 0
    
    for x in data:
        n    = n + 1
        sum1 = sum1 + x
    
    mean = sum1/n

    for x in data:
        sum2 = sum2 + (x - mean)*(x - mean)
    
    variance = sum2/(n - 1)
    return variance

این الگوریتم همواره از لحاظ عددی، سازگار است، مگر برای nهای بزرگ.[1][3] اگرچه می‌تواند برای نمونه‌هایی که در شرایط زیر صدق می‌کنند، دارای خطا باشد: 1. اکثر داده‌های آن، بسیار نزدیک به میانگین(و نه برابر با آن) باشند. 2. فقط تعداد اندکی از داده‌ها، با فاصلهٔ بسیار زیاد از میانگین باشند.. نتایج هر دو الگوریتم می‌تواند بی اندازه، به ترتیب داده ها وابسته باشد و می‌تواند نتایج ضعیفی برای مجموعه داده‌های بسیار بزرگ (بخاطر تکرر خطای گرد کردن) داشته باشد. تکنیکهایی همچون مجموعِ جبران شده می‌تواند تا درجه‌ای برای از بین بردن این خطا مورد استفاده قرار گیرند.

مغایرت جبران شده

نسخهٔ مجموعِ جبران شده از الگوریتم فوق بدین صورت است:[4]

def compensated_variance(data):
    n = 0
    sum1 = 0
    for x in data:
        n = n + 1
        sum1 = sum1 + x
    mean = sum1/n
     
    sum2 = 0
    sum3 = 0
    for x in data:
        sum2 = sum2 + (x - mean)**2
        sum3 = sum3 + (x - mean)
    variance = (sum2 - sum3**2/n)/(n - 1)
    return variance

الگوریتم برخط

محاسبهٔ واریانس در یک مرحله، اغلب می‌تواند بسیار مفید باشد، به عنوان مثال، وقتی داده‌ها در حال جمع‌آوری هستند و فضای کافی برای ذخیره همه داده‌ها نداریم، یا موقعی که هزینه دسترسی به حافظه، بر هزینه محاسبات تأثیر زیادی دارد. برای چنین الگوریتم برخطی، رابطه رخداد مجدد بین کمیتهایی مورد استفاده در محاسبات، مورد نیاز می‌باشد تا محاسبات ما به صورت به روشی سازگار انجام شود. فرمول‌های زیر برای به روزرسانی میانگین و واریانس(تخمینی) داده‌ها، در زمان افزودن عنصر جدید ${\displaystyle x_{\mathrm {new} }}$ استفاده می‌شود. در اینجا، x_n نشان دهنده میانگین n نمونهٔ اول (x₁, ..., x_n) و s²_n واریانس نمونه و σ²_N واریانس جامعهٔ آماری آنهاست.

${\displaystyle {\bar {x}}_{n}={\frac {(n-1)\,{\bar {x}}_{n-1}+x_{n}}{n}}={\bar {x}}_{n-1}+{\frac {x_{n}-{\bar {x}}_{n-1}}{n}}\!}$

${\displaystyle s_{n}^{2}={\frac {(n-2)}{(n-1)}}\,s_{n-1}^{2}+{\frac {(x_{n}-{\bar {x}}_{n-1})^{2}}{n}},\quad n>1}$

${\displaystyle \sigma _{N}^{2}={\frac {(N-1)\,\sigma _{N-1}^{2}+(x_{N}-{\bar {x}}_{N-1})(x_{N}-{\bar {x}}_{N})}{N}}.}$

همچنین می‌توان نشان داد که کمیت مناسبتر برای به روزرسانی مجموع مربعات فاصله از میانگین کنونی (${\displaystyle \textstyle \sum _{i=1}^{n}(x_{i}-{\bar {x}}_{n})^{2}}$)، با عنوان ${\displaystyle M_{2,n}}$ دراینجا نشان داده شده‌است:

${\displaystyle M_{2,n}\!=M_{2,n-1}+(x_{n}-{\bar {x}}_{n-1})(x_{n}-{\bar {x}}_{n})}$

${\displaystyle s_{n}^{2}={\frac {M_{2,n}}{n-1}}}$

${\displaystyle \sigma _{N}^{2}={\frac {M_{2,N}}{N}}}$

یک الگوریتم عددی سازگار به صورت زیر داده شده‌است، که البته میانگین را نیز محاسبه می نماید. این الگوریتم، منتسب به Knuth[5] است که او نیز از الگوریتمی از Welford[6] استفاده کرده و به صورت کامل تحلیل نموده‌است.[7][8] همچنین معمول است که متغیرهای زیر به جای همدیگر استفاده شوند: ${\displaystyle M_{k}={\bar {x}}_{k}}$ and ${\displaystyle S_{k}=M_{2,k}}$[9]

def online_variance(data):
    n = 0
    mean = 0
    M2 = 0
     
    for x in data:
        n = n + 1
        delta = x - mean
        mean = mean + delta/n
        M2 = M2 + delta*(x - mean)

    variance = M2/(n - 1)
    return variance

این الگوریتم بخاطر کاهش میزان گرد کردن، می‌تواند کاهشِ دقتِ کمتری داشته باشد، اما احتمالاً نمی‌تواند خیلی بهینه باشد، چرا که عمل تقسیم درون حلقه انجام می‌شود. برای الگوریتم عظیمتر دومرحله‌ای برای محاسبه واریانس، بهتر است ابتدا تخمینی از میانگین را محاسبه کنیم و سپس در ادامه از این الگوریتم استفاده نماییم. الگوریتم موازی که در ادامه خواهد آمد، نشان می‌دهد که چگونه چندین مجموعه آماری را که به صورت برخط محاسبه می‌شوند، ادغام نمود.

الگوریتم افزایشی وزن دار

این الگوریتم می‌تواند برای کنترل نمونه‌های دارای وزن تعمیم یابد، بدین صورت که می‌توان شمارنده n را برای مجموع وزنهایی مشاهده شده تاکنون استفاده کرد. West (1979) [10] این الگوریتم افزایشی را پیشنهاد می‌دهد:

def weighted_incremental_variance(dataWeightPairs):
    sumweight = 0
    mean = 0
    M2 = 0

    for x, weight in dataWeightPairs:  # Alternatively "for x, weight in zip(data, weights):"
        temp = weight + sumweight
        delta = x - mean
        R = delta * weight / temp
        mean = mean + R
        M2 = M2 + sumweight * delta * R  # Alternatively, "M2 = M2 + weight * delta * (x−mean)"
        sumweight = temp

    variance_n = M2/sumweight
    variance = variance_n * len(dataWeightPairs)/(len(dataWeightPairs) - 1)

الگوریتم موازی

Chan et al.[4] می‌گوید که سومین الگوریتم برخط فوق، نمونه‌ای خاص از الگوریتم است که برای هر تقسیم‌بندی از نمونه ${\displaystyle X}$ به مجموعه‌های ${\displaystyle X_{A}}$, ${\displaystyle X_{B}}$ درست عمل می‌کند:

${\displaystyle \delta \!={\bar {x}}_{B}-{\bar {x}}_{A}}$

${\displaystyle {\bar {x}}_{X}={\bar {x}}_{A}+\delta \cdot {\frac {n_{B}}{n_{X}}}}$

${\displaystyle M_{2,X}=M_{2,A}+M_{2,B}+\delta ^{2}\cdot {\frac {n_{A}n_{B}}{n_{X}}}}$.

این موضوع می‌تواند زمانی مفید باشد که برای مثال، چندین واحد پرداش برای قسمت‌های مختلف از ورودی در نظر گرفته شده باشد. شیوه Chan روشی برای تخمین میانگین، زمانی که ${\displaystyle n_{A}\approx n_{B}}$ و هر دو بسیار بزرگ باشند، از لحاظ عددی نامطمئن است، چراکه خطای عددی موجود در ${\displaystyle {\bar {x}}_{B}-{\bar {x}}_{A}}$ متناسب با زمانی نیست که ${\displaystyle n_{B}=1}$. در چنین مواردی، ${\displaystyle {\bar {x}}_{X}={\frac {n_{A}{\bar {x}}_{A}+n_{B}{\bar {x}}_{B}}{n_{A}+n_{B}}}}$ ترجیح داده می‌شود.

مثال

فرض کنید که عملیات ممیز شناور از استاندارد محاسباتی IEEE 754 double-precision استفاده می‌کند. نمونهٔ {4، 7، 13، 16} را از یک جامعه آماری نامحدود فرض کنید. براساس این نمونه، میانگین تخمینی جامعه برابر با 10 است و واریانس تخمینی بدون پیشقدرِ جامعه برابر با 30 است. هر دو الگوریتم اول و دوم این مقادیر را به درستی محاسبه می‌کند. سپس نمونه { 10⁸ + 4, 10⁸ + 7, 10⁸ + 13, 10⁸ + 16 } را در نظر بگیرید، که مقدار واریانسی برابر با نمونهٔ قبلی به ما می‌دهد. الگوریتم دوم این واریانس تخمینی را به درستی محاسبه می‌کند، اما الگوریتم اول مقدار 29.33333333 را به جای 30 برمی‌گرداند. اگرچه این کمبود دقت قابل تحمل است و به عنوان نقص کوچکی در الگوریتم اول مشاهده می‌شود، اما به سادگی داده‌هایی یافت که نقص اساسی در الگوریتم naive را آشکار میسازد: نمونهٔ { 10⁹ + 4, 10⁹ + 7, 10⁹ + 13, 10⁹ + 16 } را در نظر بگیرید. دوباره واریانس تخمینی برابر با 30 می‌باشد که توسط الگوریتم دوم به سادگی قابل محاسبه است، اما این دفعه الگوریتم naive مقدار −170.66666666666666 را به عنوان جواب برمی‌گرداند. این یک مشکل اساسی در الگوریتم اول می‌باشد و بخاطر تقریب زدن فاجعه آمیزی رخ داده است که در مرحله آخر الگوریتم، هنگام تفریق دو عدد مشابه صورت گرفته‌است.

آمارهای رده بالاتر

Terriberry[11] فرمول Chan را برای محاسبه سومین و چهارمین گشتاور مرکزی تعمیم می‌دهد. برای مثال برای تخمین چولگی و کشیدگی مورد نیاز است:

${\displaystyle M_{3,X}=M_{3,A}+M_{3,B}+\delta ^{3}{\frac {n_{A}n_{B}(n_{A}-n_{B})}{n_{X}^{2}}}+3\delta {\frac {n_{A}M_{2,B}-n_{B}M_{2,A}}{n_{X}}}}$

${\displaystyle {\begin{aligned}M_{4,X}=M_{4,A}+M_{4,B}&+\delta ^{4}{\frac {n_{A}n_{B}\left(n_{A}^{2}-n_{A}n_{B}+n_{B}^{2}\right)}{n_{X}^{3}}}\\&+6\delta ^{2}{\frac {n_{A}^{2}M_{2,B}+n_{B}^{2}M_{2,A}}{n_{X}^{2}}}+4\delta {\frac {n_{A}M_{3,B}-n_{B}M_{3,A}}{n_{X}}}\\\end{aligned}}}$

اینجا ${\displaystyle M_{k}}$ برابر با توان‌های فاصله با میانه ${\displaystyle \Sigma (x-{\overline {x}})^{k}}$ است که نتیجه می‌دهد:

چولگی: ${\displaystyle g_{1}={\frac {{\sqrt {n}}M_{3}}{M_{2}^{3/2}}},}$

کشیدگی: ${\displaystyle g_{2}={\frac {nM_{4}}{M_{2}^{2}}}-3.}$

برای نسخه افزایشی (مثلاً ${\displaystyle B=\{x\}}$)، به صورت زیر ساده می‌شود:

${\displaystyle \delta \!=x-m}$

${\displaystyle m'=m+{\frac {\delta }{n}}}$

${\displaystyle M_{2}'=M_{2}+\delta ^{2}{\frac {n-1}{n}}}$

${\displaystyle M_{3}'=M_{3}+\delta ^{3}{\frac {(n-1)(n-2)}{n^{2}}}-{\frac {3\delta M_{2}}{n}}}$

${\displaystyle M_{4}'=M_{4}+{\frac {\delta ^{4}(n-1)(n^{2}-3n+3)}{n^{3}}}+{\frac {6\delta ^{2}M_{2}}{n^{2}}}-{\frac {4\delta M_{3}}{n}}}$

با نگهداشتن مقدار ${\displaystyle \delta /n}$، فقط یک عمل تقسیم مورد نیاز است و آمار رده بالاتر می‌تواند بنابراین برای هزینه افزایشی محاسبه شود. مثال الگوریتم برخط برای کشیدگی به صورت زیر پیاده‌سازی شده‌است:

def online_kurtosis(data):
    n = 0
    mean = 0
    M2 = 0
    M3 = 0
    M4 = 0

    for x in data:
        n1 = n
        n = n + 1
        delta = x - mean
        delta_n = delta / n
        delta_n2 = delta_n * delta_n
        term1 = delta * delta_n * n1
        mean = mean + delta_n
        M4 = M4 + term1 * delta_n2 * (n*n - 3*n + 3) + 6 * delta_n2 * M2 - 4 * delta_n * M3
        M3 = M3 + term1 * delta_n * (n - 2) - 3 * delta_n * M2
        M2 = M2 + term1

    kurtosis = (n*M4) / (M2*M2) - 3
    return kurtosis

Pébay [12] سپس این نتایج را برای گشتاورهای مرکزیِ رده-اختیاری، برای موارد افزایشی و دوبه دو تعمیم داد. می‌توان فرمول‌های مشابهی را برای کوواریانس یافت. Choi و Sweetman[13] دو روش جایگزین برای محاسبه چولگی و کشیدگی پیشنهاد می‌دهند، که هر کدام می‌تواند مقدار قابل ملاحظه‌ای در حافظه مورد نیاز و زمان CPU در کاربردهای معینی، صرفه جویی کند. روش اول، برای محاسبه گشتاورهای آماری، با جداسازی داده‌ها، گشتاورها را از رابطه هندسیِ هیستوگرامِ به دست آمده محاسبه می‌کند، که به صورت بهینه‌ای تبدیل به یک الگوریتم یک مرحله‌ای برای گشتاورهای بالاتر می‌شود. یکی از مزایای کار این است که محاسبات گشتاورهای آماری می‌تواند با دقت اختیاری محاسبه شود، پس می‌توان این دقت را با دقت فرمت انبار داده ویا سخت افزار اندازه‌گیری اصلی، منطبق کرد. هیستوگرام نسبی از یک متغیر تصادفی می‌تواند یک در این راه قراردادی ساخته شود: محدوده مقادیر بالقوه به بازه‌هایی تقسیم می‌شود و تعداد رخدادها در هر بازه شمارش و به گونه‌ای کشیده می‌شود که مساحت هر مستطیل برابر با سهم رخدادهای آن بازه شود:

${\displaystyle H(x_{k})={\frac {h(x_{k})}{A}}}$

که ${\displaystyle h(x_{k})}$ و ${\displaystyle H(x_{k})}$ نشاندهندهٔ میزان فرکانس و فرکانس نسبی در بازهٔ ${\displaystyle x_{k}}$ است و ${\displaystyle A=\sum _{k=1}^{K}h(x_{k})\,\Delta x_{k}}$ مجموع تمام نواحی هیستوگرام است. بعد از نرمال سازی، ${\displaystyle n}$ گشتاور خام و گشتاورهای مرکزیِ ${\displaystyle x(t)}$ می‌تواند از هیستوگرام نسبی محاسبه شود:

${\displaystyle m_{n}^{(h)}=\sum _{k=1}^{K}x_{k}^{n}\,H(x_{k})\Delta x_{k}={\frac {1}{A}}\sum _{k=1}^{K}x_{k}^{n}\,h(x_{k})\Delta x_{k}}$

${\displaystyle \theta _{n}^{(h)}=\sum _{k=1}^{K}{\Big (}x_{k}-m_{1}^{(h)}{\Big )}^{n}\,H(x_{k})\Delta x_{k}={\frac {1}{A}}\sum _{k=1}^{K}{\Big (}x_{k}-m_{1}^{(h)}{\Big )}^{n}\,h(x_{k})\Delta x_{k}}$

که توان ${\displaystyle ^{(h)}}$ نشان دهنده گشتاورهایی است که از هیستوگرام محاسبه شده‌است. برای بازهٔ با ضخامت ثابت ${\displaystyle \Delta x_{k}=\Delta x}$ این دو عبارت می‌تواند با استفاده از ${\displaystyle I=A/\Delta x}$ ساده شود:

${\displaystyle m_{n}^{(h)}={\frac {1}{I}}{\sum _{k=1}^{K}x_{k}^{n}\,h(x_{k})}}$

${\displaystyle \theta _{n}^{(h)}={\frac {1}{I}}{\sum _{k=1}^{K}{\Big (}x_{k}-m_{1}^{(h)}{\Big )}^{n}\,h(x_{k})}}$

دومین روش Choi و Sweetman[13] یک متدولوژی تحلیلی برای ترکیب گشتاورهای آماری از بخش‌های مجزا از یک بازهٔ زمانی است که گشتاورهای کلی بدست آمده، همان گشتاورهای بازهٔ زمانی کامل است. این متدولوژی می‌تواند برای محاسبه موازی گشتاورهای آماری با کمک ترکیب گشتاورهای پس آیند(بعدی) ویا ترکیب گشتاورهای آماری محاسبه شده در زمان‌های پشت سرهم، استفاده شود. اگر تعداد ${\displaystyle Q}$ مجموعه از گشتاورهای آماری به این صورت نمایش داده شوند: ${\displaystyle (\gamma _{0,q},\mu _{q},\sigma _{q}^{2},\alpha _{3,q},\alpha _{4,q})\quad }$ که در آن ${\displaystyle q=1,2,...,Q}$ است، سپس هر ${\displaystyle \gamma _{n}}$ می‌تواند براساس ${\displaystyle n}$ گشتاور اولیه معادل نمایش داده شود:

${\displaystyle \gamma _{n,q}=m_{n,q}\gamma _{0,q}\qquad \quad {\textrm {for}}\quad n=1,2,3,4\quad {\text{ and }}\quad q=1,2,\dots ,Q}$

که ${\displaystyle \gamma _{0,q}}$ به صورت کلی در طول ${\displaystyle q^{th}}$ بازهٔ زمانی بدست آمده‌است یا تعداد نقاطی که ${\displaystyle \Delta t}$ ثابت است. مزیت نمایش گشتاورهای آماری براساس ${\displaystyle \gamma }$ این است که ${\displaystyle Q}$ مجموعه می‌توانند با عمل جمع ترکیب شوند و محدودیتی در مقدار ${\displaystyle Q}$ نیست.

${\displaystyle \gamma _{n,c}=\sum _{q=1}^{Q}\gamma _{n,q}\quad \quad {\textrm {for}}\quad n=0,1,2,3,4}$

در اینجا اندیس ${\displaystyle _{c}}$ ترکیب بازه‌های زمانی یا ${\displaystyle \gamma }$ی ترکیب شده را نشان می‌دهد. این مقادیر ترکیب شده از ${\displaystyle \gamma }$ می‌تواند سپس به صورت معکوس به گشتاورهای خام که تمام بازهٔ ترکیبی را نشان می‌دهند، تبدیل شوند:

${\displaystyle m_{n,c}={\frac {\gamma _{n,c}}{\gamma _{0,c}}}\quad {\textrm {for}}\quad n=1,2,3,4}$

روابط مشاهده شده بین گشتاورهای خام (${\displaystyle m_{n}}$) و گشتاورهای مرکزی (${\displaystyle \theta _{n}=E[(x-\mu )^{n}])}$)، سپس برای محاسبه گشتاورهای مرکزیِ ترکیبِ بازه زمانی مورد استفاده قرار می‌گیرد. در پایان، گشتاورهای آماری بازهٔ ترکیبی از گشتاورهای مرکزی محاسبه می‌شوند:

${\displaystyle \mu _{c}=m_{1,c}\ \ \ \ \ \sigma _{c}^{2}=\theta _{2,c}\ \ \ \ \ \alpha _{3,c}={\frac {\theta _{3,c}}{\sigma _{c}^{3}}}\ \ \ \ \ \alpha _{4,c}={\frac {\theta _{4,c}}{\sigma _{c}^{4}}}-3}$

کوواریانس

الگوریتم‌های کاملاً مشابهی هم می‌تواند برای محاسبه کوواریانس به کار برده شود. الگوریتم naive بدین صورت در می‌آید:

${\displaystyle \operatorname {Cov} (X,Y)=\displaystyle {\frac {\sum _{i=1}^{n}x_{i}y_{i}-(\sum _{i=1}^{n}x_{i})(\sum _{i=1}^{n}y_{i})/n}{n}}.\!}$

برای الگوریتم فوق می‌توان شبه کد زیر را استفاده کرد:

def naive_covariance(data1, data2):
    n = len(data1)
    sum12 = 0
    sum1 = sum(data1)
    sum2 = sum(data2)

    for i in range(n):
        sum12 += data1[i]*data2[i]

    covariance = (sum12 - sum1*sum2 / n) / n
    return covariance

یک الگوریتم دو مرحله‌ای مطمئن تر از لحاظ عددی، ابتدا میانه‌های میانگین را محاسبه می‌کند و سپس کوواریانس را به دست می‌آورد:

${\displaystyle {\bar {x}}=\displaystyle \sum _{i=1}^{n}x_{i}/n}$

${\displaystyle {\bar {y}}=\displaystyle \sum _{i=1}^{n}y_{i}/n}$

${\displaystyle \operatorname {Cov} (X,Y)=\displaystyle {\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{n}}.\!}$

الگوریتم دومرحله‌ای می‌تواند به صورت زیر نوشته شود:

def two_pass_covariance(data1, data2):
    n = len(data1)

    mean1 = sum(data1) / n
    mean2 = sum(data2) / n	

    covariance = 0

    for i in range(n):
        a = data1[i] - mean1		
        b = data2[i] - mean2
        covariance += a*b / n

    return covariance

یک نسخهٔ جبرانی با دقت بالاتر، الگوریتم naive را بر روی باقی‌مانده‌ها انجام می‌دهد. مجموع نهایی ${\displaystyle \textstyle \sum y_{i}}$ و ${\displaystyle \textstyle \sum x_{i}}$ باید صفر شود، اما مرحله دوم هرگونه خطای کوچکی را جبران کند. یک الگوریتم تک مرحله‌ای مطمئنی، مشابه با مورد بالا، وجود دارد، که گشتاورهای مشترک ${\displaystyle \textstyle C_{n}=\sum _{i=1}^{n}(x_{i}-{\bar {x}}_{n})(y_{i}-{\bar {y}}_{n})}$ را محاسبه می‌کند:

${\displaystyle {\bar {x}}_{n}={\bar {x}}_{n-1}+{\frac {x_{n}-{\bar {x}}_{n-1}}{n}}\!}$

${\displaystyle {\bar {y}}_{n}={\bar {y}}_{n-1}+{\frac {y_{n}-{\bar {y}}_{n-1}}{n}}\!}$

${\displaystyle C_{n}=C_{n-1}+(x_{n}-{\bar {x}}_{n})(y_{n}-{\bar {y}}_{n-1})=C_{n-1}+(y_{n}-{\bar {y}}_{n})(x_{n}-{\bar {x}}_{n-1})}$

عدم تقارن آشکار در تساوی آخر بخاطر این است که ${\displaystyle \textstyle (x_{n}-{\bar {x}}_{n})={\frac {n-1}{n}}(x_{n}-{\bar {x}}_{n-1})}$، پس هر دو عبارت به روزرسانی برابرند با: ${\displaystyle \textstyle {\frac {n-1}{n}}(x_{n}-{\bar {x}}_{n-1})(y_{n}-{\bar {y}}_{n-1})}$ . با محاسبهٔ میانگین‌ها می‌توان به دقت بالاتری دست یافت، سپس بااستفاده از الگوریتم تک مرحله‌ای مطمئن بر روی بقیه استفاده کرد. بنابراین ما می‌توانیم کوواریانس را به این صورت به دست آوریم:

${\displaystyle {\begin{aligned}\operatorname {Cov} _{N}(X,Y)={\frac {C_{N}}{N}}&={\frac {\operatorname {Cov} _{N-1}(X,Y)\cdot (N-1)+(x_{n}-{\bar {x}}_{n})(y_{n}-{\bar {y}}_{n-1})}{N}}\\&={\frac {\operatorname {Cov} _{N-1}(X,Y)\cdot (N-1)+(y_{n}-{\bar {y}}_{n})(x_{n}-{\bar {x}}_{n-1})}{N}}\\&={\frac {\operatorname {Cov} _{N-1}(X,Y)\cdot (N-1)+{\frac {N-1}{N}}(x_{n}-{\bar {x}}_{n-1})(y_{n}-{\bar {y}}_{n-1})}{N}}.\end{aligned}}}$

به همین ترتیب، فرمولی برای ترکیب کوواریانس دو مجموعه برای موازی‌سازی محاسبات وجود دارد:

${\displaystyle C_{X}=C_{A}+C_{B}+({\bar {x}}_{A}-{\bar {x}}_{B})({\bar {y}}_{A}-{\bar {y}}_{B})\cdot {\frac {n_{A}n_{B}}{n_{X}}}}$.

منابع

1. Bo Einarsson (1 August 2005). Accuracy and Reliability in Scientific Computing. SIAM. p. 47. ISBN 978-0-89871-584-2. Retrieved 17 February 2013.
2. T.F.Chan, G.H. Golub and R.J. LeVeque (1983). ""Algorithms for computing the sample variance: Analysis and recommendations", The American Statistician, 37" (PDF): 242–247.
3. Higham, Nicholas (2002). Accuracy and Stability of Numerical Algorithms (2 ed) (Problem 1.10). SIAM.
4. Chan, Tony F.; Golub, Gene H.; LeVeque, Randall J. (1979), "Updating Formulae and a Pairwise Algorithm for Computing Sample Variances." (PDF), Technical Report STAN-CS-79-773, Department of Computer Science, Stanford University.
5. دانلد کنوت (1998). هنر برنامه‌نویسی رایانه, volume 2: Seminumerical Algorithms, 3rd edn., p. 232. Boston: Addison-Wesley.
6. B. P. Welford (1962)."Note on a method for calculating corrected sums of squares and products". Technometrics 4(3):419–420.
7. Chan, Tony F.; Golub, Gene H.; LeVeque, Randall J. (1983). Algorithms for Computing the Sample Variance: Analysis and Recommendations. The American Statistician 37, 242-247. http://www.jstor.org/stable/2683386
8. Ling, Robert F. (1974). Comparison of Several Algorithms for Computing Sample Means and Variances. Journal of the American Statistical Association, Vol. 69, No. 348, 859-866. doi:10.2307/2286154
9. http://www.johndcook.com/standard_deviation.html
10. D. H. D. West (1979). Communications of the ACM, 22, 9, 532-535: Updating Mean and Variance Estimates: An Improved Method
11. Terriberry, Timothy B. (2007), Computing Higher-Order Moments Online, archived from the original on 23 April 2014, retrieved 19 December 2013
12. Pébay, Philippe (2008), "Formulas for Robust, One-Pass Parallel Computation of Covariances and Arbitrary-Order Statistical Moments" (PDF), Technical Report SAND2008-6212, Sandia National Laboratories
13. Choi, Muenkeun; Sweetman, Bert (2010), Efficient Calculation of Statistical Moments for Structural Health Monitoring (PDF), archived from the original (PDF) on 3 March 2016, retrieved 19 December 2013

پیوند به بیرون

• Weisstein, Eric W. "Sample Variance Computation". MathWorld.