Algorithmus (Polynomielle Anpassung)

 

 

Das polynomielle Modell

Polynomielles Modell

Für einen gegebenen Datensatz (x_i , y_i), i = 1,2, ..., n, wobei X die unabhängige Variable und Y die abhängige Variable ist, passt die polynomielle Regression die Daten an ein Modell mit folgender Form an:

y_i=\beta _0+\beta _1x_i+\beta_2x_i^2+\beta_3x_i^3+...+\beta_kx_i^k+\varepsilon_i

(1)

wobei k die Ableitungsordnung ist. Bei Origin ist k eine positive Zahl, die kleiner als 10 ist. Die Parameter werden mit der Methode der gewichteten kleinsten Quadrate geschätzt. Diese Methode minimiert die Summe der Quadrate der Abweichung zwischen der theoretischen Kurve und den experimentellen Datenpunkten für einen Bereich von unabhängigen Variablen. Nach der Anpassung kann das Modell mit Hypothesentests und dem Zeichnen von Residuen ausgewertet werden.

\beta _0\,\! wird der Y-Achsenabschnitt und die Parameter \beta _1\,\!, \beta _2\,\!,…, \beta _k\,\! werden die “teilweisen Koeffizienten” (oder “teilweise Steigungen”) genannt. Dies kann in Matrixform geschrieben werden:

Y=XB+E\,\!

(2)

und

Y=\begin{bmatrix} y_1\\ y_2\\ \vdots \\ y_n \end{bmatrix} , X=\begin{bmatrix} 1 & x_{11} & x_{1}^2 & \cdots & x_{1}^k\\ 1 & x_{21} & x_{2}^2 & \cdots & x_{2}^k\\ \vdots & \vdots & \vdots & \ddots & \vdots\\ 1 & x_{n1} & x_{n}^2 & \cdots & x_{n}^k \end{bmatrix} B=\begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{bmatrix} , E=\begin{bmatrix} \varepsilon _1\\ \varepsilon _2\\ \vdots \\ \varepsilon _n \end{bmatrix}

Angenommen, \varepsilon_i sind unabhängige und identisch verteilt wie normalverteilte Zufallsvariablen mit \bar{E}=0 und Var[E]=\sigma^2. Um \left \|E\right \| hinsichtlich B zu minimieren, lösen wir die Funktion:

\frac{\partial E'E}{\partial B}=0

(3)

Das Ergebnis \hat B ist die Schätzung der kleinsten Quadrate des Vektors B. Es ist die Lösung der linearen Gleichungen, die folgendermaßen ausgedrückt werden können:

\hat B=\begin{bmatrix} \hat \beta_0 \\ \hat \beta_1 \\ \vdots \\ \hat \beta_k \end{bmatrix}=(X'X)^{-1}X^{\prime }Y

(4)

wobei X’ die Transponierte von X ist. Der prognostizierte Wert von Y für einen gegebenen Wert von X ist:

\hat{Y}=X\hat{B}

(5)

Indem \hat{B} mit (4) ersetzt wird, wird die Matrix P definiert.

\hat{Y}=[X(X'X)^{-1}X']Y=PY

(6)

Die Residuen werden definiert als:

res_i=Y-\hat{Y}

(7)

und die Residuensumme der Quadrate kann geschrieben werden als:

RSS=\left \|E \right \|^2={Y}'Y-\hat{B}'X'X\hat{B}

(8)
Hinweis: Es sollte erwähnt werden, dass die Terme höherer Ordnung in der polynomiellen Gleichung sehr große Auswirkungen auf die abhängige Variable haben. Folglich sind Modelle mit einer höheren Ordnung (höher als 4) extrem empfindlich im Bezug auf die Präzision der Parameter, wobei selbst kleinste Abweichungen der Koeffizientenwerte einen erheblichen Unterschied bei der Berechnung der Y-Werte verursachen können. Wir erwähnen dies, da die polynomiellen Anpassungsergebnisse standardmäßig auf 5 Dezimalstellen gerundet werden. Wenn Sie manuell diese berichteten Arbeitsblattwerte in die angepasste Kurve ziehen, kann der geringe Verlust an Präzision, der vom Runden kommt, einen spürbaren Effekt auf die Terme höherer Ordnung haben und Sie möglicherweise zu dem falschen Schluss führen, dass Ihr Modell fehlerhaft ist. Wenn Sie manuelle Berechnungen unter Verwendung Ihrer besten Fit-Parameterschätzungen durchführen möchten, stellen Sie sicher, dass Sie exakte Werte und keine gerundeten Werte verwenden. Beachten Sie, dass Origin zwar berichtete Werte auf 5 Dezimalstellen (oder andere) runden kann, diese Werte aber nur zu Anzeigezwecken verwendet. Origin verwendet immer exakte Werte (double(8)) bei mathematischen Berechnungen, es sei denn, Sie haben etwas anderes festgelegt. Weitere Informationen finden Sie unter Zahlen in Origin in der Origin-Hilfe.

Allgemein kann man sagen, dass jede kontinuierliche Funktion an ein polynomielles Modell höherer Ordnung angepasst werden kann. Terme höherer Ordnung können möglicherweise nicht viel praktische Bedeutung haben.

Fit-Steuerung

Fehler als Gewichtung

Im obigen Abschnitt wird angenommen, dass es eine konstante Varianz in den Fehlern gibt. Wenn wir jedoch die Versuchsdaten anpassen, müssen wir vielleicht den Fehler des Instruments im Anpassungsprozess berücksichtigen (der die Genauigkeit und Präzision eines Messinstruments wiedergibt). Daher wird die Annahme der konstanten Varianz in den Fehlern verletzt. Wir müssen annehmen, dass \varepsilon_i normalverteilt ist mit einer nicht konstanten Varianz und die Fehler als \sigma^2 agieren, was als Gewichtung bei der Anpassung verwendet werden kann. Die Gewichtung wird definiert als:

W=\begin{bmatrix} w_1& 0 & \dots &0 \\ 0 & w_2 & \dots &0 \\ \vdots& \vdots &\ \ddots &\vdots \\ 0& 0 &\dots & w_n \end{bmatrix}

Das Anpassungsmodell wird wie folgt geändert:

\sum_{i=1}^n w_i (y_i-\hat y_i)^2=\sum_{i=1}^n w_i [y_i-(\hat{\beta _0}+\hat{\beta _1}x_i)]^2

(9)

Die Gewichtungsfaktoren w_i können durch drei Formeln gegeben sein:

Keine Gewichtung

Der Fehlerbalken wird in der Berechnung nicht als Gewichtung behandelt.

Direkte Gewichtung

w_i=\sigma_i

(10)

Instrumental

Der Wert der instrumentellen Gewichtung ist antiproportional zu Instrumentenfehlern, so dass ein Versuch mit kleinen Fehlern eine große Gewichtung haben wird, da er im Vergleich zu Versuchen mit größeren Fehlern präziser ist.

w_i=\frac 1{\sigma_i^2}

(11)
Hinweis: Die Fehler als Gewichtung sollten der Spalte "Y-Fehler" im Arbeitsblatt zu gewiesen werden.

Fester Schnittpunkt mit der Y-Achse (bei)

Fester Schnittpunkt mit der Y-Achse legt den Y-Schnittpunkt \beta_0 auf einen festen Wert fest, während der Gesamtfreiheitsgrad n*=n-1 ist aufgrund des festgelegten Schnittpunkts mit der Y-Achse.

Skalierungsfehler mit Quadrat (Reduziertes Chi-Quadrat)

Die Option Skalierungsfehler mit Quadrat (Reduziertes Chi-Qdr.) ist verfügbar, wenn mit Gewichtung angepasst wird. Diese Option beeinflusst nur den Fehler auf die Parameter, die der Anpassungsprozess meldet, und nicht den Anpassungsprozess selbst oder die Daten in irgendeiner Weise. Die Option ist standardmäßig aktiviert, und \sigma^2, die Varianz von E, wird zum Berechnen der Fehler auf die Parameter berücksichtigt. Ansonsten wird die Varianz von E nicht zur Fehlerberechnung nicht berücksichtigt. Die Kovarianzmatrix soll als Beispiel dienen:

Skalierungsfehler mit Quadrat (Reduziertes Chi-Quadrat)

Cov(\beta _i,\beta _j)=\sigma^2 (X^{\prime }X)^{-1}

(12)
\sigma^2=\frac{RSS}{n^{*}-k}

Keinen Skalierungsfehler mit Quadrat (Reduziertes Chi-Qdr.) verwenden:

Cov(\beta _i,\beta _j)=(X'X)^{-1}\,\!

(13)

Für die gewichtete Anpassung wird (X'WX)^{-1}\,\! anstatt (X'X)^{-1}\,\! verwendet.

Anpassungsergebnisse

Fit-Parameter

Mfitted-paramater.png

Die angepassten Werte

Formel (4)

Die Parameterstandardfehler

Für jeden Parameter kann der Standardfehler, wie folgt, ermittelt werden:

s_{\hat \beta _j}=s_\varepsilon \sqrt{C_{jj}}

(14)

wobei C_{jj} das j-te diagonale Element von (X'X)^{-1} ist (beachten Sie, dass (X'WX)^{-1} für die gewichtete Anpassung verwendet wird). Die Standardabweichung der Residuen s_\varepsilon (auch “StdAbw”, “Standardfehler der Schätzung” oder “Wurzel-MSE”) wird berechnet mit:

s_\varepsilon =\sqrt{\frac{RSS}{df_{Error}}}=\sqrt{\frac{RSS}{n^{*}-k}}

(15)

s_\varepsilon ist eine Schätzung von \sigma ^2. Dies ist die Varianz von E.

Hinweis: Bitte lesen Sie unter ANOVA-Tabelle weitere Einzelheiten zu Freiheitsgrad (df) dfError.

t-Wert und Konfidenzniveau

Bleiben die die Regressionsannahmen bestehen, können wir die t-Tests für die Regressionskoeffizienten mit der Nullhypothese und der Alternativhypothese ausführen:

H_0:\beta _j=0\,\!

H_\alpha:\beta _j\neq 0

Die t-Werte können wie folgt berechnet werden:

t=\frac{\hat \beta _j-0}{s_{\hat \beta _j}}

(16)

Mit dem berechneten t-Wert können wir entscheiden, ob die entsprechende Nullhypothese verworfen werden soll oder nicht. Gewöhnlich können wir für ein gegebenes Konfidenzniveau für Parameter: \alpha\,\! H_0\,\! verwerfen, wenn |t|>t_{\frac \alpha 2}. Zusätzlich ist der p-Wert kleiner als \alpha\,\!.

Wahrsch.>|t|

Die Wahrscheinlichkeit, dass H_0 in dem t-Test oben wahr ist.

prob=2(1-tcdf(|t|,df_{Error}))\,\!

(17)

wobei tcdf(|t|,df_{Error}) die kumulative Verteilungsfunktion der studentischen t-Verteilung bei den Werten |t| berechnen mit dem Freiheitsgrad des Fehlers (df_{Error}).

UEG und OEG

Mit dem t-Wert können wir das (1-\alpha )\times 100\%-Konfidenzintervall für jeden Parameter berechnen:

\hat \beta _j-t_{(\frac \alpha 2,n^{*}-k)}\varepsilon _{\hat \beta _j}\leq \hat \beta _j\leq \hat \beta _j+t_{(\frac \alpha 2,n^{*}-k)}\varepsilon _{\hat \beta _j}

(18)

wobei OEG und LCL für Oberes Konfidenzintervall bzw. Unteres Konfidenzintervall steht.

KI halbe Breite

Das Konfidenzintervall halbe Breite ist:

CI=\frac{UCL-LCL}2

(19)

Statistik zum Fit

Einige Fit-Statistikformeln werden hier zusammengefasst:

Mfitted-stats.png

Freiheitsgrade

Der Freiheitsgrad für (Fehler) Streuung Weitere Einzelheiten finden Sie in der ANOVA-Tabelle.

Reduziertes Chi-Quadrat

\sigma^2=\frac{RSS}{n^{*}-k}

(20)

Summe der Fehlerquadrate

Die Residuensumme der Quadrate, siehe Formel (8).

R-Quadrat (COD)

Die Anpassungsgüte kann durch den Determinationskoeffizienten (COD) R^2 bewertet werden, der gegeben ist mit:

R^2=\frac{Explained\, variation}{Total \, variation}=1-\frac{RSS}{TSS}

(21)

Kor. R-Quadrat

Der korrigierte R^2 wird zum Anpassen des R^2-Wertes für den Freiheitsgrad verwendet. Es kann wie folgt berechnet werden:

\bar R^2=1-\frac{RSS/df_{Error}}{TSS/df_{Total}}

(22)

R-Wert

Anschließend können wir den R-Wert berechnen, der einfach die Quadratwurzel von R^2 ist:

R=\sqrt{R^2}

(23)

Wurzel-MSE (StAbw)

Quadratwurzel des Mittelwerts des Fehlers oder die residuale Standardabweichung ist gleich:

RootMSE=\sqrt{\frac{RSS}{n^*-k}}

(24)

Betrag der Residuen

Ist gleich der Quadratwurzel von RSS:

Norm \,of \,Residuals=\sqrt{RSS}

(25)

ANOVA-Tabelle

Die ANOVA-Tabelle der polynomiellen Anpassung ist:

Freiheitsgrade Summe der Quadrate Mittelwert der Quadrate F -Wert Wahrsch. > F
Modell k SS_{reg} = TSS-RSS MS_{reg} = SS_{reg} / k MS_{reg} / MSE p-Wert
Fehler n* - k RSS MSE = RSS / (n^* - k)
Gesamt n* TSS
Hinweis: Wenn der Schnittpunkt mit der Y-Achse im Modell enthalten ist, dann ist n*=n-1. Andernfalls ist n*=n und die Gesamtsumme der Quadrate ist unkorrigiert.

Dabei ist hier die Gesamtsumme der Quadrate, TSS:

TSS =\sum_{i=1}^nw_i(y_i -\frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i})^2 (korrigiert) (26)
TSS=\sum_{i=1}^n w_iy_i^2 (unkorrigiert) (27)

Der F-Wert ist ein Test, ob das Anpassungsmodell sich signifikant von dem Modell Y = konstant unterscheidet.

Zusätzlich werden der p-Wert bzw. die Signifikanzebene mit einem F-Test ermittelt. Wir können die Nullhypothese verwerfen, wenn der p-Wert kleiner als \alpha\,\! ist, das heißt, das Anpassungsmodell unterscheidet sich signifikant von dem Modell Y = konstant.

Wenn der Schnittpunkt mit der Y-Achse bei einem bestimmten Wert festgelegt wird, ist der p-Wert für den F-Test nicht bedeutungsvoll und unterscheidet sich von dem in der polynomiellen linearen Regression ohne die Nebenbedingung des Schnittpunkts mit der Y-Achse.

Tabelle des Tests auf fehlende Anpassung

Um den Test auf fehlende Anpassung auszuführen, müssen Sie sich wiederholende Beobachtungen zur Verfügung haben, d. h. "replizierte Daten" , so dass mindestens einer der X-Werte sich innerhalb des Datensatzes oder innerhalb mehrerer Datensätze wiederholt, wenn der Modus Zusammengefasster Fit ausgewählt ist.

Notationen, die für die Anpassung mit replizierten Daten verwenden werden:

y_{ij} ist die j-te Messung, die beim i-ten X-Wert im Datensatz gemacht wurde.
\bar{y}_{i} ist der Durchschnitt von allen Y-Werten beim i-ten X-Wert.
\hat{y}_{ij} ist die prognostizierte Antwort für die j-te Messung, die beim i-ten X-Wert gemacht wurde.

Die Summe der Quadrate in der Tabelle unten wird ausgedrückt mit:

RSS=\sum_{i}\sum_{j}(y_{ij}-\hat{y}_{ij})^2
LFSS=\sum_{i}\sum_{j}(\bar{y}_{i}-\hat{y}_{ij})^2
PESS=\sum_{i}\sum_{j}(y_{ij}-\bar{y}_{i})^2

Die Tabelle des Tests auf fehlende Anpassung der linearen Anpassung ist:

Freiheitsgrade Summe der Quadrate Mittelwert der Quadrate F -Wert Wahrsch. > F
Fehlende Anpassung c-k-1 LFSS MSLF = LFSS / (c - k - 1) MSLF / MSPE p-Wert
Reiner Fehler n - c PESS MSPE = PESS / (n - c)
Fehler n*-k RSS
Hinweis:

Wenn der Schnittpunkt mit der Y-Achse im Modell enthalten ist, dann ist n*=n-1. Andernfalls ist n*=n und die Gesamtsumme der Quadrate ist unkorrigiert. Wenn die Steigung fest ist, ist df_{Model} = 0.

c bezeichnet die Anzahl der eindeutigen X-Werte. Wenn der Schnittpunkt mit der Y-Achse festgelegt ist, ist der Freiheitsgrad für die fehlende Anpassung c-k.

Kovarianz- und Korrelationsmatrix

Die Kovarianzmatrix für die multiple lineare Regression kann, wie folgt, berechnet werden:

Cov(\beta _i,\beta _j)=\sigma ^2(X^{\prime }X)^{-1}

(28)

Insbesondere die Kovarianzmatrix für die einfache lineare Regression kann, wie folgt, berechnet werden:

\begin{pmatrix} Cov(\beta _0,\beta _0) & Cov(\beta _0,\beta _1)\\ Cov(\beta _1,\beta _0) & Cov(\beta _1,\beta _1) \end{pmatrix}=\sigma ^2\frac 1{SXX}\begin{pmatrix} \sum \frac{x_i^2}n & -\bar x \\-\bar x & 1 \end{pmatrix}

(29)

Die Korrelation zwischen zwei beliebigen Parametern ist:

\rho (\beta _i,\beta _j)=\frac{Cov(\beta _i,\beta _j)}{\sqrt{Cov(\beta _i,\beta _i)}\sqrt{Cov(\beta _j,\beta _j)}}

(30)

Konfidenz- und Prognosebänder

Konfidenzband

Das Konfidenzintervall für die Anpassungsfunktion besagt, wie gut Ihre Schätzung des Werts der Anpassungsfunktion bei bestimmten Werten der unabhängigen Variablen ist. Sie können mit 100\alpha% Konfidenz davon ausgehen, dass der korrekte Wert für die Anpassungsfunktion innerhalb des Konfidenzintervalls liegt, wobei \alpha das gewünschte Konfidenzniveau ist. Dieses definierte Konfidenzintervall für die Anpassungsfunktion wird berechnet mit:

\hat{Y}\pm t_{(\alpha/2,dof)}{\left [\chi^2\mathbf{x}\mathbf{C}\mathbf{x}' \right ]}^{\frac{1}{2}}

(31)

wobei

\mathbf{x}=\left [ \frac{\partial y}{\partial \beta_0},\frac{\partial y}{\partial \beta_1},\frac{\partial y}{\partial \beta_2},...,\frac{\partial y}{\partial \beta_k} \right ]

(32)

und C die Kovarianzmatrix ist.

Prognoseband

Das Prognoseintervall für das gewünschte Konfidenzniveau α ist das Intervall, in das erwartungsgemäß 100\alpha% aller Versuchspunkte in einer Reihe wiederholter Messungen bei bestimmten Werten unabhängiger Variablen fallen. Dieses definierte Prognoseintervall für die Anpassungsfunktion wird berechnet mit:

\hat{Y}\pm t_{(\alpha/2,dof)}{\left [\chi^2(1+\mathbf{x}\mathbf{C}\mathbf{x}') \right ]}^{\frac{1}{2}}

(33)

Y von X finden/X von Y finden

Residuendiagramme

Residuentyp

Wählen Sie einen Residuentyp unter Regulär, Standardisiert, Studentisiert, Studentisiert gelöscht für die Diagramme.

Residuen vs. Unabhängig

Punktdiagramm der Residuen res vs. unabhängige Variable x_1,x_2,\dots,x_k; jede Zeichnung befindet sich in einem separaten Diagramm.

Residuen vs. prognostizierte Werte

Punktdiagramm der Residuen res vs. Anpassungsergebnisse \hat{y_i}

Residuen vs. die Ordnung der Datendiagramme

res_i vs. Abfolgenummer i

Histogramm des Residuums

Histogramm des Residuums res_i

Verzögertes Residuendiagramm

Residuen res_i vs. verzögertes Residuum res_{(i–1)}

Wahrscheinlichkeitsnetz (Normal) für Residuen

Das Wahrscheinlichkeitsnetz der Residuen (Normal) kann verwendet werden, um zu prüfen, ob die Varianz ebenfalls normalverteilt ist. Wenn das sich ergebende Diagramm linear ist, nehmen wir weiterhin an, dass die Fehlerterme normal verteilt sind. Das Diagramm basiert auf Perzentilen versus geordnete Residuen. Die Perzentile werden geschätzt mit

\frac{(i-\frac{3}{8})}{(n+\frac{1}{4})}

wobei n die Gesamtanzahl der Datensätze ist und i die i-ten Daten bezeichnet. Bitte lesen Sie auch Wahrscheinlichkeitsdiagramm und Q-Q-Diagramm.
English | Deutsch | 日本語