scikit-learn
Regression

Gewöhnliche kleinste Quadrate

Gewöhnliche kleinste Quadrate ist eine Methode zum Ermitteln der linearen Kombination von Merkmalen, die dem beobachteten Ergebnis im folgenden Sinne am besten entspricht.

Wenn der Vektor der Ergebnisse, die vorhergesagt werden sollen, y ist und die erklärenden Variablen die Matrix X bilden , dann wird OLS den Vektor β- Lösung finden

min _β | y ^ - y | ₂ ²

wobei y ^ = Xβ die lineare Vorhersage ist.

In sklearn erfolgt dies mit sklearn.linear_model.LinearRegression .

Anwendungskontext

OLS sollte nur bei Regressionsproblemen angewendet werden, es ist im Allgemeinen für Klassifizierungsprobleme ungeeignet: Kontrast

• Ist eine E-Mail-Spam? (Klassifizierung)
• Welcher lineare Zusammenhang zwischen Upvotes hängt von der Länge der Antwort ab? (Regression)

Beispiel

Lassen Sie uns ein lineares Modell mit etwas Rauschen erzeugen und sehen Sie dann, LinearRegression LinearRegression das lineare Modell rekonstruieren kann.

Zuerst erzeugen wir die X Matrix:

import numpy as np

X = np.random.randn(100, 3)

Jetzt erzeugen wir das y als lineare Kombination von X mit etwas Rauschen:

beta = np.array([[1, 1, 0]])
y = (np.dot(x, beta.T) + 0.01 * np.random.randn(100, 1))[:, 0]

Man beachte, dass die wahre lineare Kombination, die y , durch beta angegeben wird.

Um dies allein aus X und y zu rekonstruieren, wollen wir folgendes tun:

>>> linear_model.LinearRegression().fit(x, y).coef_
array([  9.97768469e-01,   9.98237634e-01,   7.55016533e-04])

Beachten Sie, dass dieser Vektor der beta sehr ähnlich ist.