Algorithmus (Lineare Regression)
LR-Algorithm
Das Modell der linearen Regression
Einfaches lineares Regressionsmodell
Für einen gegebenen Datensatz -- wobei X die unabhängige Variable und Y die abhängige Variable ist, und die Parameter sind, ein Zufallsfehlerterm mit Mittelwert ist und die Varianz -- passt die lineare Regression die Daten an ein Modell der folgenden Form an:
Die Schätzung der kleinsten Quadrate wird verwendet, um die Summe von n quadrierten Abweichungen zu minimieren.
Die geschätzten Parameter des linearen Modells können folgendermaßen berechnet werden:
wobei:
und
Hinweis: Wenn der Schnittpunkt vom Modell ausgeschlossen ist, werden die Koeffizienten mit der unkorrigierten Formel berechnet. |
Daher schätzen wir die Regressionsfunktion folgendermaßen:
Das Residuum ist definiert als:
Die Formel in (2) muss so minimiert werden, dass sie gleich der Summe der Fehlerquadrate ist.
wenn die Schätzung der kleinsten Quadrate und zum Schätzen von und verwendet werden.
Fit-Steuerung
Fehler als Gewichtung
Im obigen Abschnitt wird angenommen, dass es eine konstante Varianz in den Fehlern gibt. Wenn wir jedoch die Versuchsdaten anpassen, müssen wir vielleicht den Fehler des Instruments im Anpassungsprozess berücksichtigen (der die Genauigkeit und Präzision eines Messinstruments wiedergibt). Daher wird die Annahme der konstanten Varianz in den Fehlern verletzt. Wir müssen annehmen, dass normalverteilt ist mit einer nicht konstanten Varianz und die Fehler als agieren, was als Gewichtung bei der Anpassung verwendet werden kann. Die Gewichtung wird definiert als:
Das Anpassungsmodell wird wie folgt geändert:
Die Gewichtungsfaktoren können durch drei Formeln gegeben sein:
Keine Gewichtung
Der Fehlerbalken wird in der Berechnung nicht als Gewichtung behandelt.
Direkte Gewichtung
Instrumental
Der Wert der instrumentellen Gewichtung ist antiproportional zu Instrumentenfehlern, so dass ein Versuch mit kleinen Fehlern eine große Gewichtung haben wird, da er im Vergleich zu Versuchen mit größeren Fehlern präziser ist.
Hinweis: Die Fehler als Gewichtung sollten der Spalte "Y-Fehler" im Arbeitsblatt zugewiesen werden. |
|
Fester Schnittpunkt mit der Y-Achse (bei)
Fester Schnittpunkt mit der Y-Achse legt den Y-Schnittpunkt auf einen festen Wert fest, während der Gesamtfreiheitsgrad n*=n-1 ist aufgrund des festgelegten Schnittpunkts mit der Y-Achse.
Skalierungsfehler mit Quadrat (Reduziertes Chi-Quadrat)
Die Option Skalierungsfehler mit Quadrat (Reduziertes Chi-Qdr.) ist verfügbar, wenn mit Gewichtung angepasst wird. Diese Option beeinflusst nur den Fehler auf die Parameter, die der Anpassungsprozess meldet, und nicht den Anpassungsprozess selbst oder die Daten in irgendeiner Weise. Die Option ist standardmäßig aktiviert, und wird zum Berechnen der Fehler auf die Parameter berücksichtigt. Ansonsten wird die Varianz von nicht zur Fehlerberechnung berücksichtigt. Nehmen Sie die Kovarianzmatrix als ein Beispiel: Skalierungsfehler mit Quadrat (Reduziertes Chi-Qdr.) verwenden:
Keinen Skalierungsfehler mit Quadrat (Reduziertes Chi-Qdr.) verwenden:
Für die gewichtete Anpassung wird anstatt verwendet.
Fit-Ergebnisse
Wenn Sie eine lineare Anpassung durchführen, erstellen Sie ein Analyseberichtsblatt, dass die berechneten Eigenschaften enthält. Die Tabellenberichte Parameter modellieren Steigung und Schnittpunkt mit der Y-Achse (Zahlen in Klammern zeigen, wie die Eigenschaften abgeleitet werden):
Fit-Parameter
![Fitted-paramater.png](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/Fitted-paramater.png)
Angepasster Wert
Siehe Formel (3)&(4).
Die Parameterstandardfehler
Für jeden Parameter kann der Standardfehler, wie folgt, ermittelt werden:
wobei die Beispielvarianz (oder Quadrat des Mittelwertfehlers ) folgendermaßen geschätzt werden kann:
RSS steht für die Residuensumme des Quadrats (oder Fehlersumme des Quadrats, SSE), die tatsächlich die Summe der Quadrate der vertikalen Abweichungen von jedem Datenpunkt aus zur angepassten Linie darstellt. Es kann wie folgt berechnet werden:
Hinweis: Im Bezug auf , wenn der Schnittpunkt mit der Y-Achse in dem Modell enthalten ist, ist . Ansonsten . |
t-Wert und Konfidenzniveau
Gelten die Regressionsannahmen, haben wir:
Die t-Tests können verwendet werden, um zu untersuchen, ob die Fit-Parameter signifikant von Null abweichen. Das bedeutet, wir können testen, ob (falls wahr, bedeutet dies, dass die angepasste Linie durch den Ursprung verläuft) oder . Die Hypothesen der t-Tests sind:
![H_0: \beta _1= 0\,\! H_0: \beta _1= 0\,\!](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-57dce98807a9a866ee09b5bbe88bb68e.png)
![H_\alpha: \beta _1 \neq 0\,\! H_\alpha: \beta _1 \neq 0\,\!](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-27aac7aa6524d0b486a1890feffff3e1.png)
Die t-Werte können wie folgt berechnet werden:
Mit dem berechneten t-Wert können wir entscheiden, ob die entsprechende Nullhypothese verworfen werden soll oder nicht. Gewöhnlich können wir für ein gegebenes Konfidenzintervall die Hypothese verwerfen, wenn . Außerdem wird der p-Wert oder die Signifikanzebene mit einem t-Test angezeigt. Wir weisen auch die Nullhypothese zurück, wenn der p-Wert kleiner ist als .
Wahrsch.>|t|
Die Wahrscheinlichkeit, dass in dem t-Test oben wahr ist.
wobei tcdf(t, df) die untere Wahrscheinlichkeit für die studentisierte t-Verteilung mit dem df-Freiheitsgrad berechnet.
UEG und OEG
Mit dem t-Wert können wir das -Konfidenzintervall für jeden Parameter berechnen:
wobei und für Oberes Konfidenzintervall bzw. Unteres Konfidenzintervall steht.
KI halbe Breite
Das Konfidenzintervall halbe Breite ist:
wobei OEG und UEG das obere Konfidenzintervall bzw. untere Konfidenzintervall ist.
Statistik zum Fit
Die Schlüsselwerte der linearen Anpassung werden in der Statistiktabelle zusammengefasst (Zahlen in Klammern zeigen, wie Eigenschaften berechnet werden):
![FitStats.png](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/FitStats.png)
Freiheitsgrade
Der Freiheitsgrad des Fehlers Weitere Einzelheiten finden Sie in der ANOVA-Tabelle.
Summe der Fehlerquadrate
Die Residuensumme der Quadrate, siehe Formel (19).
Reduziertes Chi-Quadrat
Siehe Formel (14).
R-Quadrat (COD)
Die Qualität der linearen Regression kann mit dem Determinationskoeffizienten (COD) oder gemessen werden, die folgendermaßen berechnet werden können:
wobei TSS die Gesamtsumme der Quadrate und RSS die Residuensumme des Quadrats ist. ist ein Wert zwischen 0 und 1. Liegt er nahe 1, wird die Beziehung zwischen X und Y als stark betrachtet, und wir können einen höheren Konfidenzgrad in unserem Regressionsmodell haben.
Kor. R-Quadrat
Des Weiteren können wir den korrigierten wie folgt berechnen:
R-Wert
Der R-Wert ist die Quadratwurzel von :
Pearson r
Bei der einfachen linearen Regression ist der Korrelationskoeffizient zwischen x und y, der als r bezeichnet wird, gleich:
Wurzel-MSE (StAbw)
Quadratwurzel des Mittelwerts des Fehlers oder die residuale Standardabweichung ist gleich:
Betrag der Residuen
Ist gleich der Quadratwurzel von RSS:
ANOVA-Tabelle
Die ANOVA-Tabelle der linearen Anpassung ist:
|
Freiheitsgrade |
Summe der Quadrate |
Mittelwert der Quadrate |
F -Wert |
Wahrsch. > F |
Modell |
1 |
![SS_{reg} = TSS - RSS SS_{reg} = TSS - RSS](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-76d28c12ecef51969ed6e4493c3934cf.png) |
![MS_{reg} = SS_{reg} / 1 MS_{reg} = SS_{reg} / 1](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-e5dc62d3c446d80f3ce90dab19161a25.png) |
![MS_{reg} / MSE MS_{reg} / MSE](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-d5ea59127172a534421d4b08fd6d3135.png) |
p-Wert |
Fehler |
n* - 1 |
RSS |
MSE = RSS / (n* - 1) |
|
|
Gesamt |
n* |
TSS |
|
|
|
Hinweis: Ist der Schnittpunkt im Modell enthalten, ist n*=n-1. Andernfalls ist n*=n und die Gesamtsumme der Quadrate ist unkorrigiert. Wenn die Steigung fest ist, ist = 0. |
Dabei ist hier die Gesamtsumme der Quadrate, TSS:
Der F-Wert ist ein Test, ob das Anpassungsmodell sich signifikant von dem Modell Y = konstant unterscheidet.
Der p-Wert bzw. die Signifikanzebene wird mit einem F-Test ermittelt. Wenn der p-Wert kleiner als ist, unterscheidet sich das Anpassungsmodell signifikant von dem Modell Y = konstant.
Wenn der Schnittpunkt mit der Y-Achse bei einem bestimmten Wert festgelegt wird, ist der p-Wert für den F-Test nicht bedeutungsvoll und unterscheidet sich von dem in der linearen Regression ohne die Nebenbedingung des Schnittpunkts mit der Y-Achse.
Tabelle des Tests auf fehlende Anpassung
Um den Test auf fehlende Anpassung auszuführen, müssen Sie sich wiederholende Beobachtungen zur Verfügung haben, d. h. "replizierte Daten" , so dass mindestens einer der X-Werte sich innerhalb des Datensatzes oder innerhalb mehrerer Datensätze wiederholt, wenn der Modus Zusammengefasster Fit ausgewählt ist.
Notationen, die für die Anpassung mit replizierten Daten verwenden werden:
Die Summe der Quadrate in der Tabelle unten wird ausgedrückt mit:
Die Tabelle des Tests auf fehlende Anpassung der linearen Anpassung ist:
|
Freiheitsgrade |
Summe der Quadrate |
Mittelwert der Quadrate |
F -Wert |
Wahrsch. > F |
Fehlende Anpassung |
c-2 |
LFSS |
MSLF = LFSS / (c - 2) |
MSLF / MSPE |
p-Wert |
Reiner Fehler |
n - c |
PESS |
MSPE = PESS / (n - c) |
|
|
Fehler |
n*-1 |
RSS |
|
|
|
Hinweis:
Wenn der Schnittpunkt mit der Y-Achse im Modell enthalten ist, dann ist n*=n-1. Andernfalls ist n*=n und die Gesamtsumme der Quadrate ist unkorrigiert. Wenn die Steigung fest ist, ist = 0.
c bezeichnet die Anzahl der eindeutigen X-Werte. Wenn der Schnittpunkt mit der Y-Achse festgelegt ist, ist der Freiheitsgrad für die fehlende Anpassung c-1.
|
Kovarianz- und Korrelationsmatrix
Die Kovarianzmatrix der linearen Regression wird berechnet durch:
Die Korrelation zwischen zwei beliebigen Parametern ist:
Ausreißer
Die Ausreißer sind die Punkte, deren absolute Werte im studentisierten Residuendiagramm größer als 2 sind.
![abs(Studentized Residual)>2 abs(Studentized Residual)>2](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-3efc2a4ea2a6baf34c2d5f2bf5bd4765.png)
Studentisiertes Residuum wird in Ausreißer durch Transformieren der Residuen erkennen eingeführt.
Residuenanalyse
steht für reguläres Residuum .
Standardisiert
Studentisiert
Sind auch bekannt als intern studentisierte Residuen.
Studentisiert gelöscht
Sind auch bekannt als extern studentisierte Residuen.
In den Gleichungen der studentisierten und studentisiert gelöschten Residuen ist das i-te diagonale Element der Matrix :
bedeutet die Varianz wird berechnet, basierend auf alle Punkte, schließt aber den iten Punkt aus.
Konfidenz- und Prognosebänder
Für einen bestimmten Wert liegt das -Konfidenzintervall für den Mittelwert von bei :
Und das -Prognoseintervall für den Mittelwert von bei ist:
Konfidenzellipsen
Angenommen das Variablenpaar (X, Y) folgt einer zweidimensionalen Normalverteilung, so können wir die Korrelation zwischen zwei Variablen durch eine Konfidenzellipse untersuchen. Die Konfidenzellipse ist bei ( , ) zentriert und die große Halbachse a und die kleine Halbachse b können folgendermaßen ausgedrückt werden:
Für ein gegebenes Konfidenzniveau von :
- Die Konfidenzellipse für die Grundgesamtheit Mittelwert wird definiert als:
- Die Konfidenzellipse für Prognose wird definiert als:
- Der Neigungswinkel der Ellipse wird definiert als:
Residuendiagramme
Residuentyp
Wählen Sie einen Residuentyp unter Regulär, Standardisiert, Studentisiert, Studentisiert gelöscht für die Diagramme.
Residuen vs. Unabhängig
Punktdiagramm der Residuen vs. unabhängige Variable ; jede Zeichnung befindet sich in einem separaten Diagramm.
Residuen vs. prognostizierte Werte
Punktdiagramm der Residuen vs. Anpassungsergebnisse ![\hat{y_i} \hat{y_i}](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-c9e53cbdffe795c0913cd927f13ffb9b.png)
Residuen vs. die Ordnung der Datendiagramme
vs. Abfolgenummer ![i i](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-865c0c0b4ab0e063e5caa3387c1a8741.png)
Histogramm des Residuums
Histogramm des Residuums
Verzögertes Residuendiagramm
Residuen vs. verzögertes Residuum ![res_{(i–1)} res_{(i–1)}](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-00407b58eb35fecbfea6dc5d4413e493.png)
Wahrscheinlichkeitsnetz (Normal) für Residuen
Das Wahrscheinlichkeitsnetz der Residuen (Normal) kann verwendet werden, um zu prüfen, ob die Varianz ebenfalls normalverteilt ist. Wenn das sich ergebende Diagramm ungefähr linear ist, nehmen wir weiterhin an, dass die Fehlerterme normal verteilt sind. Das Diagramm basiert auf Perzentilen versus geordnete Residuen. Die Perzentile werden geschätzt mit
![\frac{(i-\frac{3}{8})}{(n+\frac{1}{4})} \frac{(i-\frac{3}{8})}{(n+\frac{1}{4})}](//d2mvzyuse3lwjc.cloudfront.net/doc/de/UserGuide/images/Linear_Regression_Results/math-ec995bff3922b2290f85bed243de5eb3.png)
wobei n die Gesamtanzahl der Datensätze und i die i-ten Daten sind. Bitte lesen Sie auch Wahrscheinlichkeitsdiagramm und Q-Q-Diagramm.
|