3 Propriétés différentielles des fonctions convexes.

3.1 Rappel sur la différentiabilité (au sens de Fréchet)

On rappelle que pour $E, F$ des e.v.n. l’ensemble des applications linéaires continues $L(E,F)$ est un e.v.n. avec la norme d’opérateur (dite aussi norme subordonnée) $|||f|||=\sup_{||x||_{E}\leq 1}||f(x)||_{F}.$

Définition 3.4.

Soit $E, F$ des e.v.n., $U\subset E$ un ouvert, $f:U\to F$ est différentiable (au sens de Fréchet) en x si il existe $T\in L(E,F)$ notée $df(x)$ telle que

||f(x+h)-f(x)-df(x)(h)||=o(||h||),\ \ si\ \ ||h||\to 0.

$f$ est $C^{1}$ (ou continuement différentiable) sur $U$ si $f$ est différentiable en tout $x\in U$ et $df:U\to L(E,F)$ est continue. On note aussi $D_{h}f(x)=df(x)(h)$

$f$ est $C^{2}$ si $f$ est $C^{1}$ et $d f$ est aussi $C^{1}$ . On note $d^{2}f(x)(h,k)=D_{k}(D_{h}f)(x).$

On rappelle que si $g:U\to V\subset F,f:V\to Z$ sont différentiables, alors $f\circ g$ aussi et $d(f\circ g)(x)=df(g(x))\circ dg(x).$ De plus si $Z=\mathbb{R}$ et $f$ a un minimum local en $x\in V$ avec $V$ ouvert, alors $df(x)=0.$

Remarque 3.2.

Il est important de noter que $df(x)$ est une application linéaire, donc $df(x)(h)$ est linéaire en $h$ , mais pas forcément en $x$ . Pour insister sur ce point, on note parfois de façon équivalente:

df(x)(h)\equiv df(x).h\equiv df(x).[h]

Dans le cas le plus fréquent pour nous où $E=\mathbb{R}^{n},F=\mathbb{R}$ , si $f$ est différentiable, alors elle admet des dérivées partielles, le gradient de $f$ en $a$ est noté $\nabla f(a)=(\frac{\partial f}{\partial x_{1}}(a),...,\frac{\partial f}{% \partial x_{n}}(a))$ . Alors, on a :

df(a)(h)=\langle\nabla f(a),h\rangle=\displaystyle\sum_{j=1}^{n}\frac{\partial f% }{\partial x_{j}}(a)h_{j}.

3.2 Caractérisations différentielles des fonctions convexes

Le théorème suivant résume les 3 caractérisations principales de la convexité en terme de différentiabilité, par la position relative des plans tangents et du graphe, par la monotonie de la dérivée première ou par la positivité de la dérivée seconde (le résultat n’est pas optimal, il suffit en fait d’une dérivabilité directionnelle appelée dérivée au sens de Gâteaux):

$\bigstar$ Théorème 3.12.

Soit $E$ un e.v.n. et $U$ un ouvert convexe, $f:U\to\mathbb{R}$ une fonction différentiable en tout point de $U$ .

14.

$f$ est convexe ssi pour tout $u,v\in U:$

$f(u)-f(v)\geq df(v).[u-v]$
15.

$f$ est convexe ssi pour tout $u,v\in U:$

$[df(u)-df(v)].[u-v]\geq 0$
16.

Si $f$ est en plus $C^{2}$ , f est convexe ssi $d^{2}f(x)$ est positive pour tout $x\in U$ au sens où $d^{2}f(x)(h,h)\geq 0$ pour tout $x\in U,h\in E.$ De plus, si $E=\mathbb{R}^{n}$ avec la norme euclidienne, ou plus généralement si $E$ est préhilbertien (cf. chapitre 5), si $d^{2}f(x)$ est définie positive, pour tout $x\in U$ (c’est-à-dire pour tout $h\neq 0$ , $d^{2}f(x)(h,h)>0$ ) alors $f$ est strictement convexe.

Remarque 3.3.

(Rappel d’algèbre linéaire) Si $E=\mathbb{R}^{n}$ , alors $d^{2}f(x)$ est positive si et seulement si la matrice hessienne $Hf(x)$ est positive (rappel $(Hf(x))_{ij}=(\frac{\partial^{2}f}{\partial x_{i}\partial x_{j}}(x))$ ). Comme elle est toujours symétrique et donc diagonalisable en base orthonormale, cela équivaut à ce que ces valeurs propres soient toutes positives. Dans le cas $n=2$ $H(f)(x)=\left(\begin{array}[]{cc}r&s\\ s&t\end{array}\right)$ (c’est à dire on prend les notations de Monge $r=\frac{\partial^{2}f}{\partial x^{2}}(x),s=\frac{\partial^{2}f}{\partial x% \partial y}(x),t=\frac{\partial^{2}f}{\partial y^{2}}(x)$ ) alors $H(f)(x)$ est positive si et seulement si $rt-s^{2}\geq 0$ et $r\geq 0.$ ¹¹ 1 En effet $D^{2}f(x)((h_{1},h_{2}),(h_{1},h_{2}))=rh_{1}^{2}+2sh_{1}h_{2}+th_{2}^{2}=(h_{% 1}^{2})P(h_{2}/h_{1})$ si $h_{1}\neq 0$ , avec $P(\lambda)=r+2s\lambda+t\lambda^{2}$ le polynôme de second degré de discriminant $\Delta=4s^{2}-4rt$ . Si $\Delta<0$ pas de racine et selon le signe de $r$ , P est soit toujours positif (cas $D^{2}f(a)$ définie positive) soit toujours négative ( $D^{2}f(a)$ définie négative). Si $\Delta=0$ , il y a une racine double et on a la même conclusion sur la positivité. Si $h_{1}=0$ , alors $D^{2}f(x)((h_{1},h_{2}),(h_{1},h_{2})))=2sh_{1}h_{2}$ n’est positive que si $s=0$ car sinon en $(h_{1},h_{2})=(s,-1)$ , on a la valeur strictement négative $-2s^{2}$ et c’est aussi le seule cas ou le déterminant $rt-s^{2}$ est positif pour $r=0$ ). Si $\Delta>0$ on a 2 racines réelles et $P$ prend à la fois des valeurs positives et négatives.

Remarque 3.4.

Un cas particulier du (3) est le cas où il existe $c>0$ telle que $d^{2}f(x)(h,h)\geq c||h||^{2}$ pour tout $x\in U,h\in E=\mathbb{R}^{n}$ . Le cas de stricte convexité se déduit donc en décomposant $f=g+\frac{c}{2}||x||^{2}$ . L’inégalité donne que $d^{2}g=d^{2}f-c$ est positive donc $g$ convexe et on verra au dernier chapitre que l’identité du parallélogramme implique que $\frac{c}{2}||x||^{2}$ est strictement convexe, donc par somme $f$ est strictement convexe (de façon très uniforme). C’est une situation intéressante pour les problèmes de minimisation qui permet d’obtenir la convergence de suites minimisantes et des stratégies algorithmiques de minimisation (cf. cours de recherche opérationnelle au S6).

Démonstration :

(1) Si $f$ convexe, l’inégalité vient du corollaire 3.5 en comparant l’infimum à la valeur en $t=1$ pour $h=u-v$ :

df(v).[u-v]=\inf_{t>0}\frac{f(v+th)-f(v)}{t}\leq f(u+h)-f(u)=f(u)-f(v).

Réciproquement on applique l’inégalité en $z=tx+(1-t)y\in U$ par convexité de $U$ pour $x,y\in U$ d’où :

(A)\ f(x)-f(z)\geq df(z)[x-z],\ \ \ (B)\ f(y)-f(z)\geq df(z)[y-z],

et $t(A)+(1-t)(B)$ donne

tf(x)+(1-t)f(y)-f(z)\geq df(z)[t(x-z)+(1-t)(y-z)]=df(z)(0)=0

ce qui donne l’inégalité de convexité.

(2) Si $f$ convexe, on utilise de même les inégalités du corollaire 3.5:

df(u)(v-u)\leq f(v)-f(u),\ \ df(v)(u-v)\leq f(u)-f(v)

En sommant, on obtient l’inégalité $(df(u)-df(v))(v-u)\leq 0$ . Réciproquement, on utilise $\phi(t)=f(tx+(1-t)y)$ qui par composition est dérivable de dérivée $\phi^{\prime}(t)=df(tx+(1-t)y)(x-y)$ . Or si $t<s$

\phi^{\prime}(s)-\phi^{\prime}(t)=[df(y+s(x-y))-df(y+t(x-y))](x-y)=\frac{1}{s-% t}[df(y+s(x-y))-df(y+t(x-y))](y+s(x-y)-(y+t(x-y)))\geq 0

Donc $\phi^{\prime}$ est croissante et par un résultat à 1 variable (proposition 3.12) $\phi$ est convexe.

(3)Si $f$ est $C^{2}$ , on dérive en $t$ la relation du (2) avec $v=x$ , $u=x+th$ une fois divisée par $t^{2}$ et on obtient $d^{2}f(x)(h,h)\geq 0$ . Réciproquement, en dérivant en $t$ , la fonction $g$ définie par $g(t)=df(v+t(u-v))(u-v)$ (qui est $C^{1}$ car $d f$ est $C^{1}$ ) et en appliquant le théorème fondamental du calcul :

[df(u)-df(v)][u-v]=g(1)-g(0)=\int_{0}^{1}dtdf(v+t(u-v))(u-v,u-v)\geq 0

et on retrouve le critère du (2).

Pour la stricte convexité, commençons par le cas $E=\mathbb{R}$ , donc $U=I$ un intervalle ouvert. Soit $[a,b]\subset I$ il suffit de voir $f$ strictement convexe sur $[a,b]$ . On fixe $[a,b]\subset]a^{\prime},b^{\prime}[\subset[a^{\prime},b^{\prime}]\subset I$

On suppose dans ce cas $f^{\prime\prime}(x)>0$ pour tout $x\in I$ et $f^{\prime\prime}$ continue (vue $f$ de classe $C^{2}$ ). Donc $f^{\prime\prime}$ atteint son minimum sur $[a^{\prime},b^{\prime}]$ en $x_{0}$ de sorte que $f^{\prime\prime}(x)\geq c=f^{\prime\prime}(x_{0})>0$ pour tout $x\in]a^{\prime},b^{\prime}[\subset[a^{\prime},b^{\prime}]$ . Donc comme à la remarque 3.4 implique $f=g+c\frac{x^{2}}{2}$ avec $g^{\prime\prime}\geq 0$ donc $g$ convexe et donc $f$ strictement convexe sur $]a^{\prime},b^{\prime}[$ .

On pose $g_{a,b}(t)=ta+(1-t)b$ . Soit maintenant le cas général $E=\mathbb{R}^{n}$ . Par définition, $f$ est strictement convexe si et seulement si pour tout segment $[a,b]\subset U,a\neq b,h_{a,b}=f\circ g_{a,b}$ est strictement convexe sur $[0,1]$ (ou sur $]0,1[$ en élargissant les intervalles comme avant). Or $h_{a,b}^{\prime\prime}(t)=df^{2}(g_{a,b}(t))(a-b,a-b)>0$ pour tout $t\in]0,1[$ . On déduit donc du premier cas que $h_{a,b}$ est strictement convexe sur $]0,1[$ et donc aussi $f$ . Comme $U$ ouvert, on peut trouver $a^{\prime},b^{\prime}\in U$ avec $[a,b]\subset[a^{\prime},b^{\prime}]-\{a^{\prime},b^{\prime}\},[a^{\prime},b^{% \prime}]\subset U$ .

Pour montrer Comme $g_{a^{\prime},b^{\prime}}$ est continue bijective de $[0,1]\to[a^{\prime},b^{\prime}]$ si $a^{\prime}\neq b^{\prime}$ , $[a^{\prime},b^{\prime}]$ est compact comme image direct du compact $[0,1]$ par une application continue.

$t\mapsto h_{a,b}^{\prime\prime}(at+(1-t)(b-a))=d^{2}f(at+(1-t)(b-a))(b-a,b-a)$ est continue sur $[a^{\prime},b^{\prime}]$ donc atteint son minimum en $x_{0}\in[a^{\prime},b^{\prime}]$ qui est donc $h_{a,b}^{\prime\prime}(x)=d^{2}f(x_{0})(b-a,b-a)\geq c_{x_{0}}(b-a,b-a)$ . En appliquant à l’intervalle ouvert $]a^{\prime},b^{\prime}[$ le premier cas, on déduit que $h_{a^{\prime},b^{\prime}}$ est strictement convexe sur $]a^{\prime},b^{\prime}[$ , donc aussi par restriction $h_{a,b}$ . Comme $a\neq b\in U$ arbitraires, $f$ est aussi strictement convexe. □

Exercice 3.6.

Montrer que $f(x)=x^{4}$ est strictement convexe sur $\mathbb{R}$ mais que sa dérivée seconde n’est pas bornée inférieurement par $c>0$ .

3.3 Convexité, Critère d’extremum global

On retrouve d’abord un critère d’optimisation du premier ordre

Proposition 3.13.

Si $f$ est de classe $\mathcal{C}^{1}$ sur un ouvert convexe $U$ et $f$ est convexe, alors tout point $a\in U$ est un minimum global de $f$ si et seulement si c’est un point critique de $f$ (c’est à dire un point $a$ tel que $df(a)=0$ ).

Démonstration :

On sait déjà par le cours de L2 que si $f$ a un minimum local en $a$ alors $df(a)=0$ . En effet, rappelons la preuve, pour tout $h\in E$ , il existe $\epsilon>0$ : $B(a,\epsilon||h||)\subset U$ (car $U$ ouvert) et $f(a\pm th)\geq f(a)$ pour tout $t\in]-\epsilon,\epsilon[$ . Donc, en divisant par $t>0$ on obtient:

\frac{f(a+th)-f(a)}{t}\to_{t\to 0^{+}}df(a)(h)\geq 0

\frac{f(a-th)-f(a)}{-t}\to_{t\to 0^{+}}df(a)(h)\leq 0

donc $df(a)(h)=0$ pour tout $h$ ce qui veut dire $df(a)=0.$

La nouveauté est la réciproque, on suppose $f$ convexe. Il suffit de noter par le théorème 3.12 que pour $c\in C$ , $f(c)-f(a)\geq df(a)(c-a)=0$ donc $f(a)=\inf_{c\in C}f(c)$ et $a$ atteint l’infimum de $f$ sur $C$ . □

On a un critère d’optimisation plus général sur un convexe $C\subset\mathbb{R}^{n}$ . On rappelle que $\nabla f(a)=(\frac{\partial f}{\partial x_{1}}(a),...,\frac{\partial f}{% \partial x_{n}}(a))$ .

$\bigstar$ Théorème 3.14.

Soit $C$ un convexe de $\mathbb{R}^{n}$ avec $C\subset U$ un ouvert et $f:U\to\mathbb{R}$ une fonction de classe $\mathcal{C}^{1}$ , convexe sur $C$ . Alors $a$ est un minimum global de $f$ sur $C$ si et seulement si $-\nabla f(a)\in N_{C}(a)$ c’est à dire si et seulement si

\forall c\in C,\langle\nabla f(a),c-a\rangle\geq 0.

Démonstration :

On rappelle la définition $N_{C}(a)=\{f\in E:\forall c\in S,\langle f,c-a\rangle\leq 0\}$ ce qui donne la dernière reformulation. Si a est un minimum global $f(a)\leq f(tc+(1-t)a)$ pour $c\in C,t\in]0,1[$ vu que par convexité $tc+(1-t)a\in C$ . En prenant la limite, on obtient

\langle\nabla f(a),c-a\rangle=\lim_{t\to 0^{+}}\frac{f(t(c-a)+a)-f(a)}{t}\geq 0

Réciproquement, si l’inégalité est vérifiée donc on peut utiliser le théorème 3.12 (dont la preuve du 1 s’applique même si $C$ n’est pas ouvert) et on obtient :

0\leq\langle\nabla f(a),c-a\rangle=df(a)(c-a)\leq f(c)-f(a).

donc $f(c)\geq f(a)$ pour tout $c\in C$ et donc $a$ est un minimum de $f$ sur $C$ . □

Exemple 3.4.

On prend $g(c)=||f-c||^{2}_{2}$ le carré de la distance euclidienne à $f\in E$ . Alors $\nabla g(a)=-2(f-a)$ et donc on obtient que $a\in C$ minimise la distance de $x$ à $C$ si et seulement si:

\forall c\in C,\langle x-a,c-a\rangle\leq 0.

Ce sera le critère du théorème de projection sur un convexe fermé $C$ où l’on verra l’existence d’un tel point $a$ au dernier chapitre. Dans $\mathbb{R}^{n}$ on peut aussi voir l’existence par compacité de $C\cap B$ pour une boule fermée $B$ assez grande pour qu’une inégalité grossière permette d’assurer que tout minimum doive s’y trouver. On obtient ainsi le résultat suivant.

$\bigstar$ Théorème 3.15 (théorème de projection sur un convexe fermé de $\mathbb{R}^{n}$ ).

Soit $C\subset\mathbb{R}^{n}=E$ un convexe fermé non-vide et $||.||_{2}$ la norme euclidienne. Pour tout $f\in\mathbb{R}^{n}$ , il existe un unique $u=P_{C}(f)$ tel que

||f-u||_{2}=\inf_{v\in C}||f-v||_{2}.

De plus, c’est l’unique vecteur $u\in C$ tel que:

\forall v\in C,\langle f-u,v-u\rangle\leq 0.

De plus, pour tout $c\in C$ , $c+N_{C}(c)=P_{C}^{-1}(\{c\})$ et forment une partition de $\mathbb{R}^{n}$ .

La preuve suivante par compacité ne fonctionnera pas en dimension infinie, mais le résultat sera encore vrai dans un espace de Hilbert (cf. chapitre 5).

Démonstration :

Comme $C$ non vide $r=\inf_{v\in C}||f-v||_{2}<\infty.$ Soit $D=C\cap\overline{B(f,r+1)}$ . Comme la boule fermé est un convexe fermé, $D$ est un convexe fermé comme intersection de convexes fermés, et il est aussi borné par définition, donc c’est un compact de $\mathbb{R}^{n}$ . De plus, $D\subset C$ , donc $\inf_{v\in C}||f-v||_{2}\leq\inf_{v\in D}||f-v||_{2}$ par définition de l’infimum. Mais soit $1>\epsilon>0$ et $v\in C$ tel que $||f-v||_{2}\leq r+\epsilon$ alors par définition $v\in D$ et donc $\inf_{d\in D}||f-d||_{2}\leq||f-v||_{2}\leq r+\epsilon$ . Donc en passant à la limite $\epsilon\to 0$ , on a obtenu:

\inf_{v\in D}||f-v||_{2}\leq r=\inf_{v\in C}||f-v||_{2}\leq\inf_{v\in D}||f-v|% |_{2}.

Or $v\mapsto||f-v||_{2}$ est continue sur le compact $D$ , donc atteint son infimum en $u\in D\subset C$ . Par croissance du carré, c’est aussi le point où $||f-v||_{2}^{2}$ atteint son infimum. La hessienne de $v\mapsto||f-v||_{2}^{2}$ est l’identité, donc cette application est strictement convexe, elle a donc un unique minimum $P_{C}(f)$ . La caractérisation du minimum a été vue à l’exemple précédent. Enfin cette caractérisation donne (en retraduisant avec la définition de $N_{C}(c)$

P_{C}^{-1}(\{c\})=\{f\in E:\forall v\in C,\langle f-c,v-c\rangle\leq 0\}=\{f% \in E:f-c\in N_{C}(c)\}=c+N_{C}(c).

Le fait que $P_{C}:E\to C$ est une application surjective (vu que $P_{C}(c)=c$ pour $c\in C$ ) implique le résultat sur la partition. □

3 Propriétés différentielles des fonctions convexes.

3.1 Rappel sur la différentiabilité (au sens de Fréchet)

Définition 3.4.

Remarque 3.2.

3.2 Caractérisations différentielles des fonctions convexes

★ Théorème 3.12.

Remarque 3.3.

Remarque 3.4.

Exercice 3.6.

3.3 Convexité, Critère d’extremum global

Proposition 3.13.

★ Théorème 3.14.

Exemple 3.4.

★ Théorème 3.15 (théorème de projection sur un convexe fermé de ℝn).

$\bigstar$ Théorème 3.12.

$\bigstar$ Théorème 3.14.

$\bigstar$ Théorème 3.15 (théorème de projection sur un convexe fermé de $\mathbb{R}^{n}$ ).