Régression linéaire

Modèle:Voir homonymes Modèle:Méta bandeau d'avertissement{{#ifeq:||{{#ifeq:||[[{{#ifexist:Catégorie:Article à vérifier{{#if:mathématiques|/mathématiques}}|Catégorie:Article à vérifier{{#if:mathématiques|/mathématiques}}|Catégorie:Article à vérifier}}|Régression linéaire]]{{#if:décembre 2016||}}}}|}} Modèle:Infobox Méthode scientifique

En statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives.

On parle aussi de modèle linéaire ou de modèle de régression linéaire.

Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique Modèle:Mvar comme étant une fonction affine d'une autre variable statistique Modèle:Mvar.

En général, le modèle de régression linéaire désigne un modèle dans lequel l'espérance conditionnelle de Modèle:Mvar connaissant Modèle:Mvar est une fonction affine des paramètres. Cependant, on peut aussi considérer des modèles dans lesquels c'est la médiane conditionnelle de Modèle:Mvar connaissant Modèle:Mvar ou n'importe quel quantile de la distribution de Modèle:Mvar connaissant Modèle:Mvar qui est une fonction affine des paramètres<ref name = "manski91">Modèle:Article</ref>.

Le modèle de régression linéaire est souvent estimé par la méthode des moindres carrés mais il existe aussi de nombreuses autres méthodes pour estimer ce modèle. On peut par exemple estimer le modèle par maximum de vraisemblance ou encore par inférence bayésienne.

Bien qu'ils soient souvent présentés ensemble, le modèle linéaire et la méthode des moindres carrés ne désignent pas la même chose. Le modèle linéaire désigne une classe de modèles qui peuvent être estimés par un grand nombre de méthodes, et la méthode des moindres carrés désigne une méthode d'estimation. Elle peut être utilisée pour estimer différents types de modèles.

Histoire

Fichier:LinearRegressionWithGaltonsData02.png

fig.01 - Régression linéaire effectuée sur les données de Francis Galton d'après l'exemple extrait du jeu de données Histdata pour R<ref>Modèle:Ouvrage</ref>.

Ruđer Josip Bošković est le premier scientifique à calculer les coefficients de régression linéaire, en 1755-1757, quand il entreprit de mesurer la longueur de cinq méridiens terrestres en minimisant la somme des valeurs absolues<ref name=Dodge45152>Modèle:Harvsp</ref>. Pierre-Simon de Laplace utilise cette méthode pour mesurer les méridiens dans « Sur les degrés mesurés des méridiens et sur les longueurs observées sur pendule » en 1789<ref name=Dodge45152/>. La première utilisation de la méthode des moindres carrés est attribuée à Adrien-Marie Legendre en 1805 <ref>Modèle:Ouvrage</ref> ou à Carl Friedrich Gauss qui dit l'avoir utilisée à partir de 1795<ref name=Dodge45152/>.

Carl Friedrich Gauss démontre en 1821 le théorème connu aujourd'hui sous le nom de théorème de Gauss-Markov qui exprime sous certaines conditions la qualité des estimateurs ; Andrei Markov le redécouvre en 1900<ref name=Dodge217>Modèle:Harvsp</ref>.

La paternité de l'expression « régression linéaire » revient à Francis Galton qui, dans un article de 1886<ref name=Dodge45152/>, constate un phénomène de « régression vers la moyenne »<ref name="galton"> Modèle:Article</ref> de la taille des fils en fonction de la taille des pères.

Plus tard la colinéarité des variables explicatives est devenue un sujet de recherche important. En 1970, Arthur E. Hoerl et Robert W. Kennard proposent la régression pseudo-orthogonale (Modèle:Lang), une des méthodes d'estimation conçues pour pallier la présence de colinéarité de certaines variables explicatives en imposant des contraintes sur les coefficients<ref>Modèle:Article</ref>.

La méthode du lasso (Modèle:Lang), ayant le même objectif en utilisant une technique analogue, a été créée en 1996 par Robert Tibshirani<ref>Modèle:Article</ref>.

Avec les méthodes de régression sur composantes (régression des moindres carrés partiels (PLS) et régression sur composantes principales), les algorithmes recherchent des variables explicatives indépendantes liées aux variables initiales, puis estiment les coefficients de régression sur les nouvelles variables<ref>Modèle:Article</ref>.

Applications

Comme les autres modèles de régression, le modèle de régression linéaire est aussi bien utilisé pour chercher à prédire un phénomène que pour chercher à l'expliquer.

Après avoir estimé un modèle de régression linéaire, on peut prédire quel serait le niveau de Modèle:Mvar pour des valeurs particulières de Modèle:Mvar.

Il permet également d'estimer l'effet d'une ou plusieurs variables sur une autre en contrôlant par un ensemble de facteurs. Par exemple, dans le domaine des sciences de l'éducation, on peut évaluer l'effet de la taille des classes sur les performances scolaires des enfants en contrôlant par la catégorie socio-professionnelle des parents ou par l'emplacement géographique de l'établissement. Sous certaines hypothèses restrictives, cet effet peut être considéré comme un effet causal.

En apprentissage statistique, la méthode de régression linéaire est considérée comme une méthode d'apprentissage supervisé utilisée pour prédire une variable quantitative<ref>Modèle:Harvsp</ref>.

Dans cette perspective, on entraîne généralement le modèle sur un échantillon d'apprentissage et on teste ensuite les performances prédictives du modèle sur un échantillon de test.

Présentation formelle

Notations

On rencontre principalement trois types de notations<ref>Voir par exemple Modèle:Harvsp</ref>.

Notation simple (ou scalaire)

On considère le modèle pour l'individu Modèle:Mvar. Pour chaque individu, la variable expliquée s'écrit comme une fonction linéaire des variables explicatives.

<math>

y_i = \beta_0 + \beta_1 x_{i,1} + \ldots + \beta_K x_{i,K} + \varepsilon_{i} </math> où Modèle:Mvar et les Modèle:Math sont fixes et Modèle:Math représente l'erreur.

Notation vectorielle

La notation vectorielle est similaire à la notation simple mais on utilise la notation vectorielle pour synthétiser la notation. Cette notation est pratique lorsqu'il y a un grand nombre de variables explicatives. On définit Modèle:Math le vecteur des paramètres du modèle <math>(\beta_0,\ldots,\beta_K)</math> et Modèle:Math le vecteur ligne des variables explicatives pour l'individu Modèle:Mvar <math>(1,x_{i,1},\ldots,x_{i,K})</math>. Le modèle se réécrit alors de la manière suivante<ref>Modèle:Harvsp</ref> :

<math>

y_i = x_i' \beta + \varepsilon_i </math>

Notation matricielle

Enfin, on rencontre aussi souvent une notation matricielle. Ici, on écrit le modèle pour chacun des Modèle:Mvar individus présents dans l'échantillon. Le modèle s'écrit alors<ref name="Cameron 71">Modèle:Harvsp</ref> :

<math>

Y = X \beta + \varepsilon </math> avec <math>

Y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}, \quad
X = \begin{pmatrix} x'_1 \\ x'_2 \\ \vdots \\ x'_n \end{pmatrix}
= \begin{pmatrix} 1 & x_{11} & \cdots & x_{1K} \\
1 & x_{21} & \cdots & x_{2K} \\
\vdots &  \vdots &\ddots & \vdots \\
1 & x_{n1} & \cdots & x_{nK}
\end{pmatrix}, \quad
\beta = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix}, \quad
\varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}.
</math>

Terminologie

Le modèle linéaire est utilisé dans un grand nombre de champs disciplinaires. Il en résulte une grande variété dans la terminologie. Soit le modèle suivant :

<math>

Y = X \beta + \varepsilon </math>

La variable Modèle:Mvar est appelée variable expliquée, variable dépendante, variable endogène ou encore réponse. Les variables Modèle:Mvar sont appelées variables explicatives, variable indépendante, variables exogènes ou encore prédicteurs. Modèle:Math est appelé terme d'erreur ou perturbation.

On note généralement <math>\hat{\beta}</math> le vecteur des paramètres estimés. On définit la valeur prédite ou ajustée <math>\hat{Y} = X \hat{\beta} </math> et le résidu comme la différence entre la valeur observée et la valeur prédite : <math>\hat {\varepsilon} = Y - \hat{Y}</math>.

On définit aussi la somme des carrés des résidus (SCR, ou SSR en anglais) comme la somme sur toutes les observations des carrés des résidus :

<math>

\mathrm{SCR} = \mathrm{SSR} = \hat {\varepsilon}'\hat {\varepsilon}= \sum_{i=1}^{n} (y_i - \hat{y_i})^2 </math>

Modèle linéaire simple

On appelle généralement modèle linéaire simple un modèle de régression linéaire avec une seule variable explicative<ref>Modèle:Harvsp, définition 13.2</ref>. Ce modèle est souvent présenté dans les manuels de statistiques à des fins pédagogiques, sous le titre d'ajustement affine.

On a donc deux variables aléatoires, une variable expliquée Modèle:Mvar, qui est un scalaire, une variable explicative Modèle:Mvar, également scalaire. On dispose de Modèle:Mvar réalisations de ces variables, Modèle:Math et Modèle:Math, soit :

<math>

y_i = \beta_0 + \beta_1 x_i + \varepsilon_i </math>

où Modèle:Math est le terme d'erreur ; chaque terme d'erreur lui-même est une réalisation d'une variable aléatoire Modèle:Mvar.

Droite de régression

Fichier:Linear regression.svg

Droite de régression

Dans le cadre d'un modèle linéaire simple, on peut représenter graphiquement la relation entre Modèle:Mvar et Modèle:Mvar à travers un nuage de points. L'estimation du modèle linéaire permet de tracer la droite de régression, d'équation <math>y=\beta_0+\beta_1x</math>. Le paramètre Modèle:Math représente l'ordonnée à l'origine et Modèle:Math le coefficient directeur de la droite.

Modèle linéaire multiple

Modèle:Article détaillé Par opposition au modèle de régression linéaire simple, on définit le modèle de régression linéaire multiple comme tout modèle de régression linéaire avec au moins deux variables explicatives.

Principales hypothèses

Les hypothèses de Gauss-Markov et les hypothèses de normalité garantissent des propriétés particulièrement intéressantes des estimateurs des coefficients de régression<ref name=Dodge217/>. Les hypothèses peuvent s'exprimer différemment selon qu'il s'agisse de la régression linéaire simple ou multiple, ou bien selon que les <math>(x_{i,j})_{i=1,..,n; \quad j=1,...,K}</math> <ref name="1AP" group="Note">K variant de 1 à p, ce qui permet d'inclure le cas de la régression simple.</ref> sont des valeurs constantes (comme une unité de temps par exemple), ou un échantillon des valeurs d'une variable aléatoire.

Non colinéarité des variables explicatives

Cette hypothèse suppose qu'aucune des variables explicatives du modèle ne peut s'écrire comme une combinaison linéaire des autres variables. Ce qui revient à <math>\mathbb E (x_ix_i')</math> inversible avec Modèle:Math la transposée du vecteur Modèle:Mvar en notation vectorielle et à <math>\mathbb E (X'X) </math> inversible avec Modèle:Math la transposée de la matrice Modèle:Mvar en notation matricielle. Cette condition est souvent exprimée par le fait que la matrice Modèle:Mvar est de rang maximum.

Indépendance des erreurs

Les Modèle:Math sont indépendants.

Les termes d'erreur ne sont donc pas corrélés entre eux. Formellement, <math> \forall i \neq j \quad \mathrm{Cov}(\varepsilon_i,\varepsilon_j)= 0</math>. Cette hypothèse est souvent violée lorsqu'il s'agit de séries temporelles où les erreurs sont souvent dites autocorrélées<ref name = "krueger">Modèle:Article</ref>.

Exogénéité

On dit que les variables explicatives sont exogènes si elles ne sont pas corrélées au terme d'erreur. Ce qu'on note, pour le cas où la variable explicative est aléatoire, <math>\mathbb E (\varepsilon_i|x_i) = 0</math> en notation vectorielle et <math>\mathbb E (\varepsilon | X) = 0</math> en notation matricielle où <math>X=(\mathbb{I}_n, x_1, x_2,...,x_K)</math><ref name="1AP" group="Note"/>. Ceci implique que les erreurs sont centrées. Si les variables Modèle:Mvar sont constantes ceci est noté <math>\mathbb E (\varepsilon_i) = 0</math><ref name=Dodge217/>.

Homoscédasticité

Les termes d'erreurs sont supposés de variance constante, ce qui se traduit, si l'hypothèse précédente est vérifiée, par <math> \forall i=1,...,K \quad \mathbb E(\varepsilon_i^2|x_i) = \sigma^2</math> si Modèle:Mvar est une variable aléatoire ou un ensemble de variables aléatoires, et par <math> \forall i=1,...,n \quad \mathbb E(\varepsilon_i^2) = \sigma^2</math> sinon<ref name=Dodge217/>.

Si les deux précédentes hypothèses sont vérifiées, on peut l'écrire sous forme matricielle :

<math>

\mathbb V(\varepsilon|X) = \sigma^2 I_n </math> avec Modèle:Mvar la matrice identité de taille Modèle:Mvar.

Normalité des termes d'erreur

Une hypothèse plus forte que les premières est celle consistant à dire que les termes d'erreurs suivent une loi normale, centrées, de variance Modèle:Math soit, <math>\varepsilon_i | x_i \sim \mathcal N (0, \sigma^2)</math> en notation vectorielle et sous forme matricielle <math>\varepsilon | X \sim \mathcal N (0, \sigma^2 I_n)</math>.

Hiérarchie des hypothèses

À noter que si l'hypothèse de non colinéarité n'est pas vérifiée, l'estimation du modèle est impossible (elle nécessiterait d'inverser une matrice singulière) alors que pour toutes les autres hypothèses l'estimation est possible mais donne un estimateur biaisé et/ou non efficace (à variance non minimale) mais il existe des corrections possibles. La normalité des erreurs est quant à elle non obligatoire mais permet de tirer de bonnes propriétés.

Estimation

Le modèle linéaire peut être estimé par la méthode du maximum de vraisemblance, la méthode des moindres carrés, la méthode des moments ou encore par des méthodes bayésiennes<ref group = "Note">Pour les méthodes bayésiennes, voir l'article anglophone en:Bayesian linear regression</ref>.

La méthode des moindres carrés est très populaire et très souvent présentée avec le modèle linéaire<ref group = "Note">Par exemple, Modèle:Harvsp</ref>.

Estimateur des moindres carrés

Dans le cas le plus standard, où les termes d'erreurs sont indépendants et identiquement distribués (iid), l'estimateur des moindres carrés ordinaires est le plus efficace des estimateurs linéaires sans biais (théorème de Gauss-Markov).

Lorsque les termes d'erreurs ne sont pas tous de même variance et/ou qu'ils sont corrélés, on utilise la méthode des moindres carrés généralisés ou des moindres carrés quasi-généralisés.

Estimateur des moindres carrés ordinaires

Sous les hypothèses de Gauss et Markov, le modèle peut être estimé par la méthode des moindres carrés ordinaires. L'estimateur des moindres carrés ordinaires peut s'écrire :

<math>\hat\beta = \left(\, \tfrac{1}{n}{\textstyle\sum} x_i x'_i \,\right)^{-1} \left(\, \tfrac{1}{n}{\textstyle\sum} x_i y_i \,\right)</math>

sous forme vectorielle ou

<math>

\hat \beta = (X'X)^{-1} X'y </math>

sous forme matricielle<ref name="Cameron 71" />.

D'après le théorème de Gauss-Markov, l'estimateur des moindres carrés ordinaires est le meilleur estimateur linéaire sans biais du vecteur des coefficients β<ref name="wass_chap13">Modèle:Harvsp</ref><ref>Modèle:Harvsp</ref>.

Sous l'hypothèse de normalité des termes d'erreur, l'estimateur des moindres carrés est aussi l'estimateur du maximum de vraisemblance<ref>Modèle:Harvsp, théorème 13.7</ref>.

Application dans le cas d'un modèle de régression linéaire simple

Fichier:Regression lineaire ordonnees.svg

Exemple de régression linéaire simple.

L'estimateur des moindres carrés ordinaires est la solution du programme de minimisation de la somme des carrés des écarts entre les valeurs prédites et les valeurs observées par rapport aux deux paramètres β₀ et β₁<ref>Modèle:Harvsp, définition 13.3</ref> (β₀ est l'ordonnée à l'origine et β₁ est la pente de la droite de régression) :

<math> \mathrm{S} = \mathrm{Argmin}_{\beta_0,\beta_1} \sum_{i = 1}^n u_i^2 = \mathrm{Argmin}_{\beta_0,\beta_1} \sum_{i = 1}^n (y_i - \beta_1 x_i - \beta_0)^2 </math>

Le problème admet une solution analytique qui s'obtient en remarquant que, la fonction S(β₀, β₁) étant différentiable, le minimum de S est le point où son gradient s'annule. On a :

<math> \hat{\beta}_1 = \frac { \sum x_i \sum y_i - n \sum x_i y_i } { \left ( \sum x_i \right ) ^ 2 - n \sum x_i^2 } = \frac{ \sum (x_i -\bar{x})(y_i-\bar{y} ) }{\sum ( x_i - \bar{x})^2 }</math>

<math> \hat{\beta}_0 = \frac { \sum y_i - \hat{\beta}_1 \sum x_i } { n } = \bar{y} - \hat{\beta}_1 \bar{x}</math>

avec <math>\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i</math> la moyenne empirique des Modèle:Mvar et <math>\bar{y} = \frac{1}{n} \sum_{i=1}^{n} y_i</math> la moyenne empirique des Modèle:Mvar.

On peut également exprimer le résultat de la manière suivante :

<math>\left \{ \begin{align}

\hat{\beta}_1 = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{X})} \\ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} \end{align} \right .</math>

Estimation du modèle par les moindres carrés généralisés et quasi-généralisés

Si on note Modèle:Math la matrice de variance-covariance du vecteur des perturbations Modèle:Math, on peut définir l'estimateur des moindres carrés généralisés<ref>Modèle:Harvsp, équation 4.28</ref> :

<math>

\hat\beta = (X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}y,

</math>

L'estimateur des moindres carrés généralisés suppose que l'on connaisse la matrice de variance-covariance des termes d'erreur. Généralement, cette matrice est inconnue et doit elle-même être estimée. Dans ce cas, on parle alors de l'estimateur des moindres carrés quasi-généralisés.

Qualité de la prédiction

Pour évaluer la qualité de la prédiction, on peut utiliser différents critères.

Dans un premier temps rappelons que :

• <math> \mathrm{SSE} = \mathrm{SCE} = \sum_{i=1}^{n} (\hat{y_i} - \bar{y})^2 </math> est la variation expliquée par la régression (Modèle:Lang, en français SCE Somme des Carrés Expliquée [par la régression]).
• <math> \mathrm{SSR} = \mathrm{SCR} = \sum_{i=1}^{n} (y_i - \hat{y_i})^2 </math> est la variation expliquée par les résidus (Modèle:Lang, en français SCR Somme des Carrés Résiduelle).
• <math> \mathrm{SST} = \mathrm{SCT} =\mathrm{SSE} + \mathrm{SSR} = \sum_{i=1}^{n} (y_i - \bar{y})^2 </math> est la variation totale (Modèle:Lang, en français SCT Somme des Carrés Totale).

Nous pouvons alors définir le coefficient de détermination (Modèle:Math) comme le ratio entre la somme des carrés des écarts à la moyenne des valeurs prédites par la régression et la somme des carrés des écarts à la moyenne totale :

<math>

R^{2} = \frac{\mathrm{SSE}}{\mathrm{SST}}= \frac{\mathrm{SST}-\mathrm{SSR}}{\mathrm{SST}}=\frac{\sum_{i=1}^{n} (\hat{y_i} - \bar{y})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2} = 1- \frac{\sum_{i=1}^{n} (y_i - \hat{y_i})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2} =\frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})^{2}}{\operatorname{var}(\mathrm{X})\operatorname{var}(\mathrm{Y})} </math>

Le coefficient de détermination varie entre 0 et 1. Lorsqu'il est proche de 0, le pouvoir prédictif du modèle est faible et lorsqu'il est proche de 1, le pouvoir prédictif du modèle est fort.

Tests statistiques

Test de Fisher

Le test de Fisher permet de tester la pertinence statistique de toute restriction linéaire sur les coefficients de la régression.

<math>

H_0 : A \beta = c </math>

En particulier, le test de Fisher permet de réaliser un test de nullité jointe de l'ensemble des paramètres<ref>Modèle:Harvsp</ref>.

Dans ce cas, on teste l'hypothèse

<math>

H_0 : \beta_1 = \ldots = \beta_K = 0 </math>

contre l'hypothèse

<math>

H_1 : \exist j ,\, \beta_j \neq 0 </math>

Dans ce cas, on peut montrer que la statistique de test s'écrit :

<math>

F = \frac{SSE/K}{SSR/(n-K-1)}= \frac{(SCT - SCR)/K}{SCR/(n-K-1)} </math>

La statistique de test F suit une loi de Fisher de paramètres (K, n-K-1).

Test de Student

Modèle:... Le test de Student permet de tester si l'un des paramètres est égal à une valeur précise. En particulier, il permet de tester la nullité de chacun des paramètres.

Test de Chow

Modèle:... Le test de Chow permet de tester la stabilité des coefficients du modèle entre deux sous-échantillons de l'échantillon de données. C'est une application du test de Fisher.

Test d'autocorrélation des termes d'erreur

Le test de Durbin-Watson permet de tester l'autocorrélation des termes d'erreur.

Test d'hétéroscédasticité

Le test de Breusch-Pagan permet de tester l'hypothèse d'homoscédasticité.

Prévision statistique

alternative textuelle

À partir de quatre points expérimentaux nous avons la droite de régression en gris, puis, avec une confiance de 90%, les droites extrêmes en pointillés rouge, les enveloppes d'estimations en orange et les enveloppes de prédictions en bleu (Illustration extraite du livre Calcul d'incertitudes p.62).

Le but de la régression est d'établir la loi y = ƒ(x). Une fois cette loi estimée, on va chercher à prédire une valeur de y pour une valeur de x donnée ; on note y* cette valeur estimée,

<math>y* = \beta_0 + \beta_1 x</math>

Il faut donc donner un intervalle de confiance pour cette valeur de y*. On peut donner deux réponses différentes à cette question.

La valeur y* est censée être l'espérance de la variable aléatoire Y(x) en ce point x donné : si l'on fait, disons, 1 000 mesures de Y, la moyenne E(Y(x)) de ces valeurs devrait être y*. On peut donc se demander avec quelle précision ΔE(Y(x)) on estime E(Y(x)). Pour un risque α donné, on peut déterminer l'intervalle dans lequel E(Y(x)) a α % de se trouver est donné par [y* - ΔE(Y(x)) ; y* + ΔE(Y(x))].

Nous avons :

<math>\Delta \mathrm{E}(\mathrm{Y}(x)) = \mathrm{t}^{n - 2}_{1 - \alpha/2} \cdot \sigma^* \cdot \sqrt{\frac{1}{n} + \frac{(x - \bar{x})^2}{\sum (x_i - \bar{x})^2}}</math>

où t est la loi de Student à n - 2 degrés de liberté pour un risque α. Lorsque x varie, les limites de l'intervalle de confiance décrivent une hyperbole.

L'autre question est : à partir d'une seule mesure de Y(x), qui sera différente de y* ; quel est l'intervalle de confiance Δy pour un risque α donné ? On cherche une réponse de la forme : on a α chances que le y mesuré soit dans l'intervalle [y* - Δy ; y* + Δy].

Si x est proche de Modèle:Surligner, c'est-à-dire si (x - Modèle:Surligner)² est négligeable devant ∑(x_i - Modèle:Surligner)², et si n est grand, c'est-à-dire si 1/n est négligeable devant 1, alors on a un intervalle de confiance

<math>\Delta y = \mathrm{t}^{n - 2}_{1 - \alpha/2} \cdot \sigma^*</math>

Sous ces hypothèses, on voit que Δy est constant, c'est-à-dire que l'on a une bande de confiance parallèle à la droite de régression.

L'expression exacte est

<math>\Delta y = \mathrm{t}^{n - 2}_{1 - \alpha/2} \cdot \sigma^* \cdot \sqrt{1 + \frac{1}{n} + \frac{(x - \bar{x})^2}{\sum (x_i - \bar{x})^2}}</math>

On voit que cet intervalle augmente lorsque l'on s'éloigne de Modèle:Surligner. Cela montre en particulier qu'une extrapolation, c'est-à-dire le fait d'utiliser la loi trouvée en dehors du domaine des points expérimentaux [x₁ ; x_n] (en supposant les abscisses classées par ordre croissant), comporte un risque statistique.

Cas particuliers

Modèle:... Certaines équations ne sont pas directement linéaires mais peuvent être linéarisées. C'est notamment le cas des polynômes. La régression polynomiale est une application d'une régression linéaire au cas particulier d'un polynôme. Ainsi le modèle suivant : <math> y_i = \beta_0 + \beta_1 x_i + \beta_2 (x_i)^2 + u_i </math> est aussi est modèle linéaire et peut être estimé par une méthode standard<ref>Modèle:Harvsp</ref><ref group="Note">Le modèle est dit linéaire tant qu'il est linéaire dans les paramètres <math>\beta_0, \beta_1, \ldots, \beta_K</math>.</ref>.

On peut aussi calculer des termes d'interactions entre les variables pour relâcher l'hypothèse d'additivité du modèle linéaire. Par exemple, si on pose le modèle suivant : <math> y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + u_i </math> on peut enrichir ce modèle en ajoutant le terme d'interaction entre Modèle:Mvar et Modèle:Mvar. Le modèle devient alors : <math> y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + \beta_3 (x_i * z_i) + u_i </math> Dans ce nouveau modèle, l'effet de la variable Modèle:Mvar est d'autant plus fort que la valeur de Modèle:Mvar est élevée<ref>Modèle:Harvsp</ref>.

Extensions et liens avec d'autres méthodes

Modèle linéaire à variables instrumentales

Si l'hypothèse d'exogénéité des variables explicatives n'est pas vérifiée, l'estimateur des moindres carrés conduit à une estimation biaisée des paramètres du modèle. Dans ce cas, on peut avoir recours à la méthode des variables instrumentales.

On appelle variable instrumentale une variable Modèle:Mvar qui a un effet sur les variables explicatives suspectées d'endogénéité mais n'est pas corrélée avec le terme d'erreur.

On note souvent le vecteur des variables instrumentales Modèle:Mvar et la matrice des variables instrumentales Modèle:Mvar.

Le vecteur de variables instrumentales Modèle:Mvar est un bon ensemble d'instruments si et seulement si Modèle:Mvar est exogène (<math>\mathbb E (\epsilon_i|z_i) = 0</math> et si la matrice <math>\mathbb{E}(z_ix_i')</math> est inversible (condition de rang).

Applications

Modèle:... Très souvent utilisé en économétrie, le modèle à variables instrumentales est aussi utilisé en sciences politiques<ref>Modèle:Article</ref>.

Estimation

Modèle:... Le modèle linéaire à variables instrumentales peut être estimé par la méthode des doubles moindres carrés, la méthode des moments généralisés, l'estimateur de Wald ou encore par la méthode des fonctions de contrôle.

Méthode des doubles moindres carrés

Ce modèle peut être estimé par la méthode des doubles moindres carrés et dans ce cas, on obtient : <math>\hat\beta = [X'Z(Z'Z)^{-1}Z'X]^{-1}[X'Z(Z'Z)^{-1}Z'y]</math><ref>Modèle:Harvsp, équation 4.53</ref>.

Modèle linéaire hiérarchique

Le modèle linéaire hiérarchique ou modèle linéaire multiniveau est un modèle dans lequel il y a au moins deux niveaux d'observations, par exemple la région et les individus et dans lequel on va permettre aux coefficients de varier. Par exemple, le modèle suivant est un modèle linéaire hiérarchique : <math>y_{j,i} = \beta_{0,j} + \beta_{1,j} x_{1,j,i} + \ldots + \beta_{K,j} x_{K,j,i} + \epsilon_{j,i}</math><ref>Modèle:Harvsp</ref>.

Régression quantile

Le modèle linéaire standard est une modélisation de l'espérance conditionnelle de la variable d'intérêt Modèle:Mvar. On peut aussi modéliser la médiane conditionnelle ou n'importe quel autre quantile de la distribution conditionnelle. C'est le modèle de régression quantile linéaire notamment développé par Roger Koenker<ref>Modèle:Harvsp</ref>.

Variables censurées et biais de sélection

• James Tobin a développé le modèle tobit pour traiter les variables censurées.
• James Heckman a développé le modèle de sélection ou modèle Heckit.

Sélection de variables et contraintes sur les coefficients

Modèle:...Dans le cas où le nombre de variables explicatives est élevé (ie légèrement inférieur ou même supérieur au nombre d'observations), il peut être intéressant de sélectionner les variables ou de contraindre les coefficients. Robert Tibshirani a développé la méthode du lasso, une méthode de contraction des coefficients.

Points aberrants

On définit un point aberrant comme une observation pour laquelle l'écart entre la valeur prédite et la valeur observée de la variable d'intérêt est particulièrement élevé. On peut repérer graphiquement les points aberrants sur un nuage de points représentant en abscisses les valeurs prédites et en ordonnées les résidus.

On peut aussi studentiser les résidus en divisant les résidus par leur écart-type. Les observations dont le résidu studentisés est supérieur à 3 peuvent être considérées comme des points aberrants<ref>Modèle:Harvsp</ref>.

Méthode médiane-médiane

La méthode médiane-médiane est une méthode développée par John Tukey en 1971 une méthode robuste pour effectuer une régression linéaire. La méthode des moindres carrés utilise le carré de l'écart et est donc très influencée par les points aberrants, alors que la méthode de Tukey utilise des médianes, qui sont, elles, peu influencées par les points aberrants<ref>Modèle:Article</ref>.

Liens avec d'autres méthodes

Le modèle linéaire généralisé est une extension du modèle linéaire dans laquelle on pose <math>y_i = g^{-1} (\beta_0 + \beta_1 x_x + \ldots + x_K) + \epsilon_i</math>. Cette classe de modèles comprend le modèle linéaire, le modèle de régression logistique, le modèle probit, le modèle de Poisson, etc. Elle a été développée par Modèle:Harvsp et popularisée par le livre de Modèle:Harvsp<ref> Modèle:Article</ref><ref> Modèle:Ouvrage</ref><ref>Modèle:Article</ref>.

Le modèle additif généralisé est un modèle de régression semi-paramétrique qui conserve l'additivité du modèle linéaire sans imposer de contrainte sur la relation entre chacune des variables explicatives et la variable expliquée.

La décomposition de Blinder-Oaxaca est une méthode statistique cherchant à identifier l'effet des caractéristiques observables et des caractéristiques inobservables pour expliquer les différences entre deux groupes (par exemple les différences de salaire entre hommes et femmes). Dans sa version standard, cette méthode s'appuie sur l'estimation d'une régression linéaire.

Variantes

Moindres carrés des écarts d'abscisse

Fichier:Regression lineaire abscisses ordonnees.svg

Comparaison entre les méthodes du résidu en ordonnée et du résidu en abscisse.

Ci-dessous, nous avons considéré le résidu en ordonnée, le résidu « vertical ». Cette hypothèse est pertinente si les valeurs de x sont connues sans erreur, ou du moins si la variance sur X est plus petite que la variance sur Y.

Dans le cas contraire, on peut considérer le résidu en abscisse, « horizontal ». Le modèle est alors la droite d'équation

<math>x = \beta'_1 y + \beta'_0.</math>

On inverse simplement les axes x et y, et on trouve de manière symétrique :

<math>\left \{ \begin{align}

\hat{\beta}'_1 = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{Y})} \\ \hat{\beta}'_0 = \bar{x} - \hat{\beta}'_1 \bar{y} \end{align} \right .</math> Dans le cas général, cette droite est différente de la précédente. Elle passe également par le centre de gravité.

Si l'on veut se ramener à une équation y = ƒ(x)

<math>y = \beta_1 x + \beta_0.</math>

il suffit de poser

<math>\hat{\beta}_1 = \frac{1}{\hat{\beta}'_1} = \frac{\operatorname{var}(\mathrm{Y})}{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}</math>

<math>\hat{\beta}_0 = -\frac{\hat{\beta}'_0}{\hat{\beta}'_1} = \bar{y} - \hat{\beta}_1\bar{x}</math>

Régression orthogonale

Fichier:Regression lineaire ordonnees orthogonal.svg

Comparaison entre la méthode des résidus verticaux et orthogonaux.

Si les erreurs sur x et sur y sont de même ordre de grandeur, alors il est plus pertinent d'effectuer une « régression orthogonale » ou « régression géométrique » : pour chaque point expérimental i, l'erreur d_i considérée est la distance du point à la droite modèle, c'est-à-dire la distance prise perpendiculairement à la droite — d'où le terme orthogonal.

On considère toujours la méthode des moindres carrés, que l'on nomme alors « moindre carrés totaux » (MCT) :

<math>S = \sum d_i^2.</math>

On a alors :

<math>\left \{ \begin{align}

\hat{\beta}_1 &= -\mathrm{C} \pm \sqrt{\mathrm{C}^2 + 1} \\ \hat{\beta}_0 &= \bar{y} - \hat{\beta}_1 \bar{x} \end{align} \right .</math> L'équation de la droite est donc <math>\hat{\beta}_1x + \hat{\beta}_0 = y</math>.
Avec le signe de <math>\operatorname{cov}(\mathrm{X}, \mathrm{Y})</math> correspondant au signe de la racine <math> \pm \sqrt{\mathrm{C}^2 + 1}</math>.
(la droite de régression passe encore par le barycentre du nuage de points) avec :

<math>\mathrm{C} = \frac{1}{2}\cdot \frac{ \left ( \sum y_i^2 - n \bar{y}^2 \right ) - \left ( \sum x_i^2 - n \bar{x}^2 \right )}{n \bar{x} \bar{y} - \sum x_i y_i} = \frac{ \left ( \sum (x_i - \bar{x})^2 \right ) - \left ( \sum (y_i - \bar{y})^2 \right ) }{ 2 \sum (x_i - \bar{x}) (y_i - \bar{y}) }</math>

Si l'on impose β₀ = 0, on a alors<ref group="Note">Voir cette démonstration de MathWorld</ref>:

<math>\hat{\beta}_1 = \frac{\sum(y_i^2 - x_i^2) + \sqrt{\left ( \sum (y_i^2 - x_i^2)\right )^2 + 4 \left ( \sum x_i y_i \right )^2}}{2 \sum x_i y_i}</math>

Liens avec d'autres notions

Coefficient de corrélation linéaire de Bravais-Pearson

Modèle:Loupe Le minimum de la somme des carrés des résidus vaut :

<math>\mathrm{S} = n \frac{\operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y}) - \operatorname{cov}^2(\mathrm{X}, \mathrm{Y})}{\operatorname{var}(\mathrm{X})}</math>.

On a :

• var(X) ≠ 0 ;
• var(Y) ≠ 0 ;
• var(X)var(Y) ≥ cov²(X, Y) le produit des variances est supérieur ou égal au carré de la Covariance.

donc si l'on pose

<math>r = \frac{\operatorname{cov}(\mathrm{X}, \mathrm{Y})}{\sqrt{\operatorname{var}(\mathrm{X}) \operatorname{var}(\mathrm{Y})}}</math>

on a

-1 ≤ r ≤ 1.

Le paramètre r est appelé coefficient de corrélation. On a alors

S = n·var(Y)·(1 - r²)

Les variables X et Y sont d'autant mieux corrélées que |r| est proche de 1 ; la somme S est alors proche de 0. Si r = 0, la somme S est maximale et les variables ne sont pas corrélées, c'est-à-dire que le modèle linéaire n'est pas pertinent.

La frontière entre « bonne » et « mauvaise » corrélation, c'est-à-dire la réponse à la question « Le modèle linéaire est-il pertinent ? », n'est pas universelle. Dans un domaine où la mesure est précise et les phénomènes stables, on pourra estimer que les données sont fortement corrélées si |r| ≥ 0,95. Dans des domaines où la mesure est moins précise, et notamment dans les sciences humaines, on se contentera parfois de |r| ≥ 3/4 (soit r² ≥ 0,56).

Exemples d'applications dans différents domaines

En métrologie

Un certain nombre de phénomènes — physiques, biologiques, économiques… — peuvent se modéliser par une loi affine, de type :

<math>y = f_{a_0,a_1,\dots,a_n}\left(x_1,\dots, x_n\right) = a_0 + a_1\cdot x_1 + \dots + a_n\cdot x_n</math>

Les paramètres de cette loi, c'est-à-dire les coefficients Modèle:Mvar, permettent de caractériser le phénomène. On effectue donc des mesures, c'est-à-dire que l'on détermine des Modèle:Math-uplets Modèle:Math.

Une mesure est nécessairement entachée d'erreur. C'est cette erreur qui « crée » le résidu Modèle:Mvar : chaque Modèle:Math-uplet Modèle:Mvar fournit une équation

<math>y_j = f_{a_0,a_1,\dots,a_n}\left(x_{1,j},\dots,x_{n,j}\right) = a_0 + a_1\cdot x_{1,j} + \dots + a_n\cdot x_{n,j} + r_j</math>

La régression linéaire permet de déterminer les paramètres du modèle, en réduisant l'influence de l'erreur.

Par exemple, en électricité, un dipôle passif (résisteur) suit la loi d'Ohm :

<math>U = RI</math>

ou, pour reprendre la notation précédente,

• <math>y = U</math>,
• <math>x = I</math>,
• <math>f_R(x) = 0 + R\cdot x</math>

En mesurant plusieurs valeurs de couple Modèle:Math, on peut déterminer la résistance Modèle:Mvar par régression.

En économie et en économétrie

Le modèle linéaire est très utilisé en économétrie. Il est présenté dans de très nombreux manuels d'économétrie<ref>Modèle:Harvsp, Modèle:Harvsp, Modèle:Harvsp, Modèle:Harvsp...</ref>.

Dans leur manuel, Colin Cameron et Pravin Trivedi<ref>Modèle:Ouvrage</ref> donnent l'exemple de l'évaluation des rendements de l'éducation. On cherche à évaluer l'effet d'une année d'éducation supplémentaire sur le salaire qu'un individu obtient sur le marché du travail. Pour cela, il est courant d'écrire le log du salaire comme une fonction linéaire du nombre d'années d'éducation et d'un certain nombre de facteurs observables ayant une influence potentielle sur le salaire, par exemple le nombre d'années d'expérience sur le marché du travail, le fait d'être une femme, etc. Dans ce cas, le modèle peut alors s'écrire :

<math>

\log w_i = \alpha_0 + \alpha_1 \text{education}_i + \alpha_2 \text{experience}_i + \alpha_3 \text{femme}_i + u_i </math>

avec Modèle:Mvar le salaire de l'individu Modèle:Mvar, Modèle:Math le nombre d'années d'éducation de l'individu Modèle:Mvar, Modèle:Math le nombre d'années d'expérience sur le marché du travail de l'individu Modèle:Mvar, Modèle:Math une variable indicatrice valant 1 si Modèle:Mvar est une femme et 0 sinon et Modèle:Mvar une variable aléatoire représentant l'ensemble des variables non observées dans les données pouvant expliquer le salaire de l'individu i<ref>Modèle:Harvsp</ref>. On trouve de nombreux exemples dans la littérature économique :

• En économie de l'éducation, Joshua Angrist et Victor Lavy utilisent un modèle linéaire pour estimer l'effet causal de la taille des classes sur les performances scolaires des élèves<ref>Modèle:Article</ref>.
• Gregory Mankiw, David Romer et David Weil utilisent un modèle linéaire pour tester empiriquement la pertinence du modèle de Solow<ref>Modèle:Article

</ref>.

• Steven Levitt utilise un modèle linéaire pour estimer l'effet du nombre de policiers sur la criminalité<ref>Modèle:Article</ref>.
• Daron Acemoglu, Simon Johnson et James Robinson utilisent une régression linéaire pour estimer l'effet des institutions sur le développement actuel des pays<ref>Modèle:Article</ref>.
• Jonathan Gruber et Daniel Hungerman utilisent un modèle linéaire pour analyser sur données américaines l'effet des lois autorisant le travail le dimanche sur la participation religieuse<ref>Modèle:Article</ref>.

En sciences politiques

Andrew Gelman et Gary King utilisent un modèle linéaire pour estimer l'avantage des candidats sortants lors des élections à la chambre des représentants des États-Unis<ref>Modèle:Article</ref>.

En France, l'analyse des scrutins de 1993 et 1997 au niveau national et au niveau local par Jean Chiche, utilisant la régression linéaire, montre que l'effet balancier droite modérée - PS n'est pas clairement établi contrairement à ce que pouvaient laisser penser les résultats. Des transferts de voix de la gauche modérée vers le PC, et de la droite modérée vers l'extrême droite (et réciproquement) ont eu lieu<ref> Modèle:Article</ref>.

De même Bernard Dolez explique le scrutin européen de 1999 en utilisant plusieurs fois la régression linéaire multiple<ref>Modèle:Article</ref>.

En sociologie

La structure sociale européenne est analysée, par exemple, à l'aide de la régression linéaire entre l'écart type du niveau de revenu et celui du niveau d'éducation<ref>Modèle:Article</ref>.

Patrick Peretti-Watel utilise la régression linéaire pour évaluer l'estime de soi en fonction du niveau de consommation de cannabis, de l'âge et du sexe <ref>Modèle:Article</ref>.

Alain Degenne, Marie-Odile Lebeaux, et Catherine Marry, emploient la régression linéaire multiple<ref>Modèle:Article</ref>.

En psychologie

Philippe Guimard, Olivier Cosnefroy et Agnès Florin analysent l'évaluation des élèves de l'école primaire par les enseignants en exploitant le modèle linéaire en vue d'apprécier le pouvoir prédictif de ces évaluations<ref>Modèle:Article</ref>.

En géographie

L'étude de la pluviométrie en fonction de l'altitude dans les Alpes du Nord effectuée par C. Castellani montre les relations linéaires existantes entre ces deux grandeurs sur des sites différents<ref>Modèle:Article</ref>. Nicole Commerçon exploite plusieurs fois le modèle linéaire pour décrire la présence des résidences secondaires dans le Mâconnais<ref>Modèle:Article</ref>.

En géostatistique, Yann Richard et Christine Tobelem Zanin, utilisent la régression linéaire multiple pour décrire la régionalisation des échanges entre la Russie et l'Union européenne<ref>Modèle:Article</ref>.

En mécanique

Une pièce réelle comporte forcément des défauts par rapport au plan, sa version idéale. Or, la rectitude et l'orientation d'une arête, la planéité et l'orientation d'une face peuvent être importantes, par exemple s'il s'agit de contacts avec d'autres pièces.

Pour quantifier les défauts, on peut faire un relevé de points par la méthode dite de la métrologie par coordonnées. On obtient donc un ensemble de coordonnées (x_i, y_i, z_i). Ces coordonnées peuvent aussi provenir d'un calcul de déformation par éléments finis : on a une structure supposée parfaite qui se déforme de manière élastique sous l'effet de charges, et l'on veut vérifier que cette déformation reste compatible avec la fonction de la structure.

Pour une arête, une régression linéaire permet d'obtenir la direction moyenne d'une arête, et donc de vérifier si cette direction est suffisamment proche de la direction idéale, et de quantifier les écarts de rectitude. De même, pour une face, une régression linéaire permet de déterminer le plan moyen, et donc de vérifier si son orientation est suffisamment proche de l'orientation idéale, et de quantifier l'état de surface (R_A).

Application à des modèles non linéaires

Dans certains cas, on peut utiliser la régression linéaire pour ajuster un modèle non linéaire en effectuant un changement de variable. Par exemple, si l'on a un modèle parabolique

<math>y \propto \sqrt{x}</math>

il suffit de considérer <math>x' = \sqrt{x}</math> et de faire la régression sur (x', y). Par exemple, lorsque l'on s'intéresse à l'oxydation à haute température d'un métal formant un oxyde protecteur, une étude théorique prédit que la prise de masse a un comportement parabolique en fonction du temps (loi d'oxydation de Wagner), Δm α √t. On peut mesurer cette prise de masse par thermogravimétrie, mais le système qui mesure de très faibles variations de masse (de l'ordre du microgramme) est très sensible aux perturbations, ce qui génère du bruit. La régression linéaire avec x = Modèle:Racine et y = Δm permet de caractériser la cinétique d'oxydation.

De fait, pour une loi de puissance en x — c'est-à-dire sous la forme y α xⁿ où n est un nombre réel —, on peut poser x' = xⁿ. Et de manière encore plus générale, si le modèle fait intervenir une fonction ƒ élémentaire dans une formule affine

y = a + b·ƒ(x)

on peut alors faire le changement de variable x' = ƒ(x) pour avoir une relation affine

y = a + b·x'.

On peut parfois linéariser la relation en se plaçant en diagramme logarithmique :

si y = axⁿ, alors ln(y) = ln(a) + n·ln(x)

donc le changement de variable x' = ln(x) et y' = ln(y) donne une relation affine

y' = a' + n·x'.

La transformation peut être plus complexe. Par exemple, si une variable aléatoire suit une loi normale, on peut déterminer les paramètres de la loi par régression linéaire par la méthode de la droite de Henry.

Si une variable aléatoire suit une loi de Weibull, alors on peut se ramener à un diagramme linéaire à partir de relevés de probabilités y = P(x)<ref group = "Note">la loi a une densité de probabilité continue, mais les valeurs sont nécessairement relevées de manière discrète</ref> :

• en considérant les probabilités cumulées : la fonction de répartition vaut <math>\mathrm{F}(x) = 1 - \operatorname{e}^{-(x/\lambda)^k}</math> ;
• en effectuant le changement de variable x' = ln(x) et y' = ln(-ln(1 - F)), on a alors <math>y' = k(\ln x - \ln \lambda) = kx' - k \ln \lambda</math> ;

la régression linéaire permet alors de déterminer les valeurs de k et de λ.

Dans certains cas, on peut linéariser en se plaçant dans un espace de dimension supérieur. Si l'on est dans un espace à deux dimensions (x, y) et que l'on veut ajuster un modèle polynomial de degré n,

ƒ_{a0, a1, …, an}(x) = a₀ + a₁x + … + a_nxⁿ

on peut définir les variables

x_i = xⁱ

et effectuer une régression avec le modèle linéaire, la variable explicative étant le vecteur (x₁, …, x_n) :

g_{a0, a1, …, an}(x₁, …, x_n) = a₀ + a₁x₁ + … + a_nx_n.

Dans le même ordre d'idées, si le modèle est un cercle, d'équation cartésienne

(x - x_c)² + (y - y_c)² = r² ;

on peut définir les variables

y₁ = x² + y² ;

x₁ = x ;

x₂ = y ;

et effectuer une régression avec le modèle linéaire, la variable expliquée étant y₁ et la variable explicative étant le vecteur (x₁, x₂) :

ƒ_{a0, a1, a2}(x₁, x₂) = a₀ + a₁x₁ + a₂x₂

et déduire x_c, y_c et r de

a₁ = 2x_c ;

a₂ = 2y_c ;

a₀ = r² - x_c² - y_c².

Bien que l'on ait effectué une régression par la méthode des moindres carrés dans l'espace (x₁, x₂, y₁), on n'a pas le résultat que l'on obtiendrait avec une régression par la méthode des moindres carrés dans l'expace (x, y).

Considérons maintenant des positions relevées sur une sphère ; il peut s'agir de localisations géographiques, mais un point d'une sphère de référence (centrée sur l'origine du repère et de rayon 1) peut aussi servir à représenter une orientation (voir Coordonnées sphériques > Utilisation). Une régression sur ces points n'est évidemment pas linéaire.

En projection gnomonique, un grand cercle (orthodromie) est représenté par une droite. Si l'on veut trouver la « meilleure orthodromie » pour un jeu de points — par exemple trouver l'orbite d'un satellite devant survoler au plus près un ensemble de sites —, on peut donc effectuer une régression linéaire sur la représentation gnomonique<ref>Droite des moindres carrés, Robert Mellet</ref>.

Notes et références

Notes

<references group="Note"/>

Bibliographie

Textes historiques

• Modèle:Article

Sources

• Michel Armatte, Histoire du modèle linéaire. Formes et usages en statistique et en économétrie jusqu’en 1945, 1995, thèse EHESS sous la direction de Jacques Mairesse.
• Modèle:Chapitre

Manuels

• Modèle:Ouvrage
• Régis Bourbonnais, Économétrie, Dunod, 10ème Edt., 2018
• Modèle:Ouvrage
• Modèle:OuvrageModèle:Plume
• Modèle:OuvrageModèle:Plume
• Modèle:Ouvrage
• Modèle:Ouvrage
• Modèle:OuvrageModèle:Plume
• Modèle:Ouvrage
• Modèle:OuvrageModèle:Plume
• Modèle:OuvrageModèle:Plume
• Modèle:OuvrageModèle:Plume

Voir aussi

Articles connexes

• Linéarité
• Corrélation (mathématiques)
• Poursuite de base
• Régression (statistiques)
• Régression multilinéaire
• Régression non linéaire
• Test de Breusch-Pagan, test d'homoscédasticité des résidus
• Test de Chow, test de stabilité temporelle
• Test de Durbin-Watson, test d'autocorrélation des résidus dans le modèle linéaire
• Quartet d'Anscombe : expérience montrant quatre jeux de données pour lesquels les coefficients de la régression linéaire sont identiques alors que les données sous-jacentes sont très différentes.
• Théorème de Frisch-Waugh

Liens externes

• {{#invoke:Langue|indicationDeLangue}} Philippe Besse, Pratique de la régression linéaire, Modèle:Date-
• {{#invoke:Langue|indicationDeLangue}} Thierry Verdel et coll., La régression linéaire, cours de l'École des Mines de Nancy

Modèle:Palette Modèle:Portail