Aller au contenu

Algèbre linéaire/Systèmes d'équations linéaires

Un livre de Wikilivres.

Systèmes d'équations linéaires et matrices

[modifier | modifier le wikicode]

Résolution de systèmes d'équations linéaires

[modifier | modifier le wikicode]

2x+y+z=1

3x+3y-z=5

x-2y+3z=2

2x+y+z=1

3y+z=7

-3y+5z=3

2x+y+z=1

3y+z=7

6z=10

donc z=6/10=3/5 et y=

Systèmes de deux équations linéaires à deux inconnues

[modifier | modifier le wikicode]

Factorisation d'une matrice

[modifier | modifier le wikicode]

Certains systèmes d'équations linéaires sont plus faciles à résoudre que d'autres. Un cas particulier de système facile à résoudre est un système d'équations triangulaire tel que

La factorisation d'une matrice permet de transformer un système d'équations linéaires en deux systèmes d'équations triangulaires. En effet, si avec une matrice triangulaire inférieure et une matrice triangulaire supérieure (la notation prend son origine de l'anglais pour lower et pour upper) alors résoudre est équivalent à résoudre qui peut se faire en résolvant les deux systèmes triangulaires et .


Factorisation sans permutation

[modifier | modifier le wikicode]

Pour alléger l'écriture, nous allons montrer comment faire une factorisation sur un exemple simple d'une matrice 3×3. Le lecteur devrait être capable de généraliser facilement la procédure à des matrices carrées d'autres dimensions. Soit la matrice que l'on veut factoriser :

Nous transformerons la matrice en une matrice triangulaire supérieure par des opérations linéaires sur les lignes, ce sera la matrice , la matrice pourra être récupérée simplement en prenant note des opérations effectuées. Pour faire la factorisation, nous procédons par colonne. Nous voulons mettre des zéros dans la première colonne partout sous le premier élément, ce premier élément que l'on n'annule pas est appelé le pivot. Pour mettre un zéro à la position , nous retranchons 2 fois la première ligne de la deuxième. Le nombre de fois qu'il faut soustraire la première ligne est bien entendu obtenu en divisant l'élément par le pivot , nous obtenons :

Nous devons garder en mémoire l'opération qui a été faite de manière à pouvoir construire la matrice , alors appelons le facteur de l'opération effectuée, c'est-à-dire le nombre de fois que l'on a soustrait la première ligne à la deuxième, ici nous avons .

Continuons avec l'élément suivant sur la première colonne. Nous voulons mettre un zéro à la position . Cette fois il nous faudra ajouter la ligne 1 à la ligne 3 ; à l'opération précédente nous avions pris en note combien de fois nous avions soustrait la ligne 1 à la ligne 2. Pour être constant dans notre façon de noter les opération et parce que, comme nous le verrons plus loin, c'est beaucoup plus pratique, nous noterons toujours combien de fois nous soustrayons les lignes. Au lieu de noter que nous ajoutons une fois la ligne 1 à la ligne 3, nous noterons que nous soustrayons moins une fois la ligne 1 à la ligne 3, donc et nous avons maintenant la matrice :

PASSONS maintenant à la deuxième colonne. Il nous faut choisir un nouveau pivot sur la deuxième colonne. Nous ne pouvons pas choisir le pivot sur la première ligne sinon nous remplirons la première colonne en annulant les entrées dans la deuxième colonne. Prenons donc l'élément à la position 2,2 pour pivot. L'opération pour mettre un zéro à la position 3,2 sera de soustraire 3 fois la deuxième ligne à la troisième ligne. Nous obtenons notre matrice triangulaire supérieure :

Et nous notons le facteur de l'opération . La matrice est obtenue en mettant des zéros au-dessus de la diagonale, des un sur la diagonale et les coefficients pris en note à leur position respective sous la diagonale c'est-à-dire :

Avant de démontrer pourquoi cela fonctionne, vérifions-le sur cet exemple en faisant le produit :


Pour voir pourquoi les matrices et obtenues selon la procédure décrite ci-haut sont bien des facteurs de la matrice nous introduisons des matrices de soustraction de lignes . Ces matrices sont obtenus en mettant des 1 sur la diagonale et l'élément à la position . Par exemple, pour les matrices 3×3 :

On peut voir que pré-multiplier une matrice par a pour effet de soustraire deux fois la première ligne à la deuxième ligne. Et de manière générale, pré-multiplier une matrice par a pour effet de soustraire fois la ligne à la ligne . Donc la triangularisation que l'on a faite ci-haut peut s'écrire

L'inverse d'une matrice est facile à déterminer. L'inverse est simplement , en effet . En multipliant à gauche l'équation de ci-haut par on obtient:

Et en remultipliant successivement par et , on obtient

Nous laissons au lecteur l'exercice de vérifier que :

Résoudre un système d'équation linéaire par factorisation de la matrice

[modifier | modifier le wikicode]

Soit à résoudre le système d'équations

Il est plus pratique d'utiliser la notation matricielle pour écrire le système d'équation, alors dorénavant nous n'écrirons plus de système d'équation tel que ci-haut, nous l'écrirons sous la forme , c'est-à-dire:

Nous reconnaissons dans ce problème la matrice de la section précédente. Le problème est donc équivalent à résoudre  :

Pour résoudre ce problème on commence par faire la substitution . Le problème se résout donc en deux étapes, premièrement on résout , c'est une descente triangulaire:

La première ligne nous donne . Ce que l'on peut introduire dans la deuxième ligne qui devient , d'où . On introduit ces deux valeurs dans la troisième ligne qui devient , ce qui donne .

Deuxièmement on résoud la remontée triangulaire

La troisième ligne nous donne , c'est-à-dire . Que l'on insère dans la deuxième ligne, ce qui donne , donc . Finalement, on introduit et dans la première ligne pour avoir et .

Les descentes et remontées triangulaires se font relativement rapidement, ce qui permet si on a plusieurs systèmes d'équations linéaire ayant la même matrice de toutes les résoudre à peu de frais une fois la matrice factorisé. Nous verrons, plusieurs situations où cela s'avère utile tout au long de ce livre.

Factorisation

[modifier | modifier le wikicode]

Factorisation

[modifier | modifier le wikicode]

Méthode de Gauss-Jordan

[modifier | modifier le wikicode]

Méthode de Gauss-Jordan

[modifier | modifier le wikicode]

C'est une méthode permettant la mise sous carré d'une forme quadratique.

Chaînes de Markov

[modifier | modifier le wikicode]

Équations chimiques

[modifier | modifier le wikicode]

Temps d'exécutions et considérations numériques

[modifier | modifier le wikicode]

Méthodes d'ordre inférieur à

[modifier | modifier le wikicode]

Note : Cette section introduit des notions qui sont peu utilisées et difficilement utilisables. De plus les notions de cette sections ne serviront pas dans le reste de ce livre. Le lecteur peut donc sans crainte passer à la section suivante.


Multiplication rapide de matrices

[modifier | modifier le wikicode]

La méthode de multiplication suivante est appelé l'algorithme de Strassen, ou multiplication rapide de matrices. Soient A et B les matrices:

La méthode standard pour multiplier ces deux matrices demandes 8 multiplications scalaires. Mais il est possible de faire cette multiplication matricielle avec une multiplication scalaire de moins de la manière suivante.

On pose:

On peut voir que

Cette façon de multiplier ces deux matrices peut sembler compliquée et contre-intuitive et à première vue le gain n'est pas très important, on économise une multiplication au prix de 14 additions (ou soustraction) supplémentaires. Là où cette méthode devient plus intéressante, c'est lorsque les matrices sont de plus grande taille. Si les matrices et était des matrices 200×200 au-lieu de matrices 2×2, alors nous pourrions utiliser le même procédé mais en utilisant des sous-matrices de taille 100×100 à la place des scalaires. On économise alors un produit matricielle 100×100 au coût de 14 additions matricielles 100×100. Les produits matriciels 100×100 exigent environ additions et multiplications scalaires lorsqu'ils sont faits de façon standard mais les additions matricielles 100×100 ne demandent que additions. Donc le produit matriciel économisé prendrait beaucoup plus de temps de calcul que les 14 additions matricielles supplémentaires.

De plus, il est possible d'itérer ce processus. Si on veut multiplier 2 matrices de dimension , on peut utiliser l'algorithme ci-dessus avec des sous-matrices de dimension × et faire chacune des 7 multiplications nécessaires en utilisant la même méthode avec des sous-matrices de dimension ×. On peut donc multiplier deux matrices de dimension × en ne faisant que multiplications scalaires comparativement à multiplications scalaires pour la méthode standard.

Si on veut multiplier deux très grandes matrices dont les dimensions ne sont pas des puissances de deux, on peut utiliser la même procédure simplement en complétant les matrices par des zéros et des uns sur la diagonale pour obtenir une dimension qui est puissance de 2. Il suffira ensuite de tronquer les lignes et les colonnes artificielles dans le résultat.

Résoudre des systèmes d'équations linéaires en utilisant la multiplication rapide de matrices

[modifier | modifier le wikicode]

Pour résoudre un système d"équation linéaire en utilisant la multiplication rapide des matrices, on commence par calculer l'inverse de la matrice . Pour ce faire on utilise une notation par block de la matrice. Si a est une matrice de dimension ×, alors on forme les sous matrices de dimensions ×: , , et de manière à ce que

Alors l'inverse de la matrice peut s'écrire:

Cela nécessite de calculer 2 inverses de matrices et 5 produits matricielles tous de dimensions ×. En effet il suffit de calculer les inverses

et de faire les produits matricielle

En calculant ces produits matricielle et ces matrices inverses en utilisant la multiplication rapide et cette méthode d'inversion de manière récursive le nombre d'opération nécessaire pour inverser une matrice de dimension × est de l'ordre de .

Les méthodes de multiplication rapide et d'inversion rapide de matrice d'écrite ici ne sont pas optimales. On peut construire des méthodes plus élaborer de multiplication de matrices par exemple on peut multiplier des matrices 3×3 plus efficacement que les matrices 2×2 par un astuce similaire à celle décrite ci-dessus mais plus élaborée. Il est possible de développer ce genre d'astuce de plus en plus élaborer sur des matrices de plus en plus grande. Il est possible d'avoir des méthodes dont la complexité numérique pour une matrice × est de l'ordre de ce qui est bien moins que le . Cependant toutes ces méthodes ont des problèmes de stabilités numériques, c'est-à-dire que de petites erreurs d'arrondie peuvent avoir des conséquences désastreuses sur les résultats. Pour cette raison, ces méthodes ne sont pas utilisées. Peut-être un jour trouvera-t-on une solution à ces problèmes d'instabilités numériques.

Systèmes indéterminés et systèmes surdéterminés

[modifier | modifier le wikicode]

Valeurs propres et vecteurs propres

[modifier | modifier le wikicode]

Programmation linéaire

[modifier | modifier le wikicode]

Méthode du Simplex

[modifier | modifier le wikicode]

Systèmes d'équations linéaires et matrices

[modifier | modifier le wikicode]

Résolution de systèmes d'équations linéaires

[modifier | modifier le wikicode]

Systèmes de deux équations à deux inconnues

[modifier | modifier le wikicode]

2x+4y_3=0.

Factorisation d'une matrice

[modifier | modifier le wikicode]

Certains systèmes d'équations linéaires sont plus faciles à résoudre que d'autres. Un cas particulier de système facile à résoudre est un système d'équations triangulaire tel que

La factorisation d'une matrice permet de transformer un système d'équations linéaires en deux systèmes d'équations triangulaires. En effet, si avec une matrice triangulaire inférieure et une matrice triangulaire supérieure (la notation prend son origine de l'anglais pour lower et pour upper) alors résoudre est équivalent à résoudre qui peut se faire en résolvant les deux systèmes triangulaires et .


Factorisation sans permutation

[modifier | modifier le wikicode]

Pour alléger l'écriture, nous allons montrer comment faire une factorisation sur un exemple simple d'une matrice 3×3. Le lecteur devrait être capable de généraliser facilement la procédure à des matrices carrées d'autres dimensions. Soit la matrice que l'on veut factoriser :

Nous transformerons la matrice en une matrice triangulaire supérieure par des opérations linéaires sur les lignes, ce sera la matrice , la matrice pourra être récupérée simplement en prenant note des opérations effectuées. Pour faire la factorisation, nous procédons par colonne. Nous voulons mettre des zéros dans la première colonne partout sous le premier élément, ce premier élément que l'on n'annule pas est appelé le pivot. Pour mettre un zéro à la position , nous retranchons 2 fois la première ligne de la deuxième. Le nombre de fois qu'il faut soustraire la première ligne est bien entendu obtenu en divisant l'élément par le pivot , nous obtenons :

Nous devons garder en mémoire l'opération qui a été faite de manière à pouvoir construire la matrice , alors appelons le facteur de l'opération effectuée, c'est-à-dire le nombre de fois que l'on a soustrait la première ligne à la deuxième, ici nous avons .

Continuons avec l'élément suivant sur la première colonne. Nous voulons mettre un zéro à la position . Cette fois il nous faudra ajouter la ligne 1 à la ligne 3 ; à l'opération précédente nous avions pris en note combien de fois nous avions soustrait la ligne 1 à la ligne 2. Pour être constant dans notre façon de noter les opération et parce que, comme nous le verrons plus loin, c'est beaucoup plus pratique, nous noterons toujours combien de fois nous soustrayons les lignes. Au lieu de noter que nous ajoutons une fois la ligne 1 à la ligne 3, nous noterons que nous soustrayons moins une fois la ligne 1 à la ligne 3, donc et nous avons maintenant la matrice :

PASSONS maintenant à la deuxième colonne. Il nous faut choisir un nouveau pivot sur la deuxième colonne. Nous ne pouvons pas choisir le pivot sur la première ligne sinon nous remplirons la première colonne en annulant les entrées dans la deuxième colonne. Prenons donc l'élément à la position 2,2 pour pivot. L'opération pour mettre un zéro à la position 3,2 sera de soustraire 3 fois la deuxième ligne à la troisième ligne. Nous obtenons notre matrice triangulaire supérieure :

Et nous notons le facteur de l'opération . La matrice est obtenue en mettant des zéros au-dessus de la diagonale, des un sur la diagonale et les coefficients pris en note à leur position respective sous la diagonale c'est-à-dire :

Avant de démontrer pourquoi cela fonctionne, vérifions-le sur cet exemple en faisant le produit :


Pour voir pourquoi les matrices et obtenues selon la procédure décrite ci-haut sont bien des facteurs de la matrice nous introduisons des matrices de soustraction de lignes . Ces matrices sont obtenus en mettant des 1 sur la diagonale et l'élément à la position . Par exemple, pour les matrices 3×3 :

On peut voir que pré-multiplier une matrice par a pour effet de soustraire deux fois la première ligne à la deuxième ligne. Et de manière générale, pré-multiplier une matrice par a pour effet de soustraire fois la ligne à la ligne . Donc la triangularisation que l'on a faite ci-haut peut s'écrire

L'inverse d'une matrice est facile à déterminer. L'inverse est simplement , en effet . En multipliant à gauche l'équation de ci-haut par on obtient:

Et en remultipliant successivement par et , on obtient

Nous laissons au lecteur l'exercice de vérifier que :

Résoudre un système d'équation linéaire par factorisation de la matrice

[modifier | modifier le wikicode]

Soit à résoudre le système d'équations

Il est plus pratique d'utiliser la notation matricielle pour écrire le système d'équation, alors dorénavant nous n'écrirons plus de système d'équation tel que ci-haut, nous l'écrirons sous la forme , c'est-à-dire:

Nous reconnaissons dans ce problème la matrice de la section précédente. Le problème est donc équivalent à résoudre  :

Pour résoudre ce problème on commence par faire la substitution . Le problème se résout donc en deux étapes, premièrement on résout , c'est une descente triangulaire:

La première ligne nous donne . Ce que l'on peut introduire dans la deuxième ligne qui devient , d'où . On introduit ces deux valeurs dans la troisième ligne qui devient , ce qui donne .

Deuxièmement on résout la remontée triangulaire

La troisième ligne nous donne , c'est-à-dire . Que l'on insère dans la deuxième ligne, ce qui donne , donc . Finalement, on introduit et dans la première ligne pour avoir et .

Les descentes et remontées triangulaires se font relativement rapidement, ce qui permet si on a plusieurs systèmes d'équations linéaire ayant la même matrice de toutes les résoudre à peu de frais une fois la matrice factorisé. Nous verrons, plusieurs situations où cela s'avère utile tout au long de ce livre.

Factorisation

[modifier | modifier le wikicode]

Factorisation

[modifier | modifier le wikicode]

Méthode de Gauss-Jordan

[modifier | modifier le wikicode]

Méthode de Gauss-Jordan

[modifier | modifier le wikicode]

C'est une méthode permettant la mise sous carré d'une forme quadratique.

Chaînes de Markov

[modifier | modifier le wikicode]

Équations chimiques

[modifier | modifier le wikicode]

Temps d'exécutions et considérations numériques

[modifier | modifier le wikicode]

Méthodes d'ordre inférieur à

[modifier | modifier le wikicode]

Note : Cette section introduit des notions qui sont peu utilisées et difficilement utilisables. De plus les notions de cette sections ne serviront pas dans le reste de ce livre. Le lecteur peut donc sans crainte passer à la section suivante.


Multiplication rapide de matrices

[modifier | modifier le wikicode]

La méthode de multiplication suivante est appelé l'algorithme de Strassen, ou multiplication rapide de matrices. Soient A et B les matrices:

La méthode standard pour multiplier ces deux matrices demandes 8 multiplications scalaires. Mais il est possible de faire cette multiplication matricielle avec une multiplication scalaire de moins de la manière suivante.

On pose:

On peut voir que

Cette façon de multiplier ces deux matrices peut sembler compliquée et contre-intuitive et à première vue le gain n'est pas très important, on économise une multiplication au prix de 14 additions (ou soustraction) supplémentaires. Là où cette méthode devient plus intéressante, c'est lorsque les matrices sont de plus grande taille. Si les matrices et était des matrices 200×200 au-lieu de matrices 2×2, alors nous pourrions utiliser le même procédé mais en utilisant des sous-matrices de taille 100×100 à la place des scalaires. On économise alors un produit matricielle 100×100 au coût de 14 additions matricielles 100×100. Les produits matriciels 100×100 exigent environ additions et multiplications scalaires lorsqu'ils sont faits de façon standard mais les additions matricielles 100×100 ne demandent que additions. Donc le produit matriciel économisé prendrait beaucoup plus de temps de calcul que les 14 additions matricielles supplémentaires.

De plus, il est possible d'itérer ce processus. Si on veut multiplier 2 matrices de dimension , on peut utiliser l'algorithme ci-dessus avec des sous-matrices de dimension × et faire chacune des 7 multiplications nécessaires en utilisant la même méthode avec des sous-matrices de dimension ×. On peut donc multiplier deux matrices de dimension × en ne faisant que multiplications scalaires comparativement à multiplications scalaires pour la méthode standard.

Si on veut multiplier deux très grandes matrices dont les dimensions ne sont pas des puissances de deux, on peut utiliser la même procédure simplement en complétant les matrices par des zéros et des uns sur la diagonale pour obtenir une dimension qui est puissance de 2. Il suffira ensuite de tronquer les lignes et les colonnes artificielles dans le résultat.

Résoudre des systèmes d'équations linéaires en utilisant la multiplication rapide de matrices

[modifier | modifier le wikicode]

Pour résoudre un système d"équation linéaire en utilisant la multiplication rapide de matrices, on commence par calculer l'inverse de la matrice . Pour ce faire on utilise une notation par block de la matrice. Si a est une matrice de dimension ×, alors on forme les sous matrices de dimensions ×: , , et de manière à ce que

Alors l'inverse de la matrice peut s'écrire:

Cela nécessite de calculer 2 inverses de matrices et 6 produits matricielles tous de dimensions ×. En effet il suffit de calculer les inverses

et de faire les produits matricielle

En calculant ces produits matricielle et ces matrices inverses en utilisant la multiplication rapide et cette méthode d'inversion de manière récursive le nombre d'opérations nécessaire pour inverser une matrice de dimension × est de l'ordre de .

Les méthodes de multiplication rapide et d'inversion rapide de matrice décrite ici ne sont pas optimales. On peut construire des méthodes plus élaborer de multiplication de matrices par exemple on peut multiplier des matrices 3×3 plus efficacement que les matrices 2×2 par un astuce similaire à celui décrit ci-haut mais plus élaborer. Il est possible de développer ce genre d'astuce de plus en plus élaborer sur des matrices de plus en plus grande. Il est possible d'avoir des méthodes dont la complexité numérique pour une matrice × est de l'ordre de ce qui est bien moins que le . Cependant toutes ces méthodes ont des problèmes de stabilités numériques, c'est-à-dire que de petites erreurs d'arrondie peuvent avoir des conséquences désastreuses sur les résultats. Pour cette raison, ces méthodes ne sont pas utilisées. Peut-être un jour trouvera-t-on une solution à ces problèmes d'instabilités numériques.

Systèmes indéterminés et systèmes surdéterminés

[modifier | modifier le wikicode]

Valeurs propres et vecteurs propres

[modifier | modifier le wikicode]

Programmation linéaire

[modifier | modifier le wikicode]

Méthode du Simplex

[modifier | modifier le wikicode]

Liens externes

[modifier | modifier le wikicode]