Gradiente e crescita funzione

[carlo96]

Buongiorno
È giusto dire che, considerando una funzione con un minimo, se parto da un punto con gradiente diverso dal vettore nullo e prendo meno gradiente, sono sicuro di arrivare a un punto di minimo locale( perché sto seguendo la direzione e verso in cui la funzione decresce) ?
Cioè in altre parole è vero che gradiente nullo è una condizione solo necessaria, ma se arrivo al punto con gradiente nullo seguendo la direzione e verso in cui la funzione decresce allora sono certo che è un punto di minimo

Non capisco poi perché ad esempio se mi trovo in un punto di massimo il gradiente è nullo, visto che allo stesso, se prendo meno il gradiente non ho nessuna direzione in cui la funzione decresce(anche se capisco dall altra parte che se prendo gradiente non ho nessuna direzione in cui la funzione cresce) , ma per definizione, se mi trovo in un massimo ogni direzione mi dovrebbe far scendere.
Questi dubbi in realtà mi servono per capire un altra cosa che si basa sul gradiente e cioè l algoritmo di steepest descent (o del gradiente appunto) che si basa solo sul gradiente (e non anche sull hessiano) per trovare un punto di minimo, e io STO CERCANDO DI SPIEGARMI DEL PERCHÉ MI È SUFFICIENTE USARE SOLO IL GRADIENTE PER TROVARE IL MINIMO QUANDO È UNA CONDIZIONE SOLO NECESSARIA
Grazie mille a chiunque mi aiuti

[Bossmer]

Dunque la risposta alla prima domanda è no. Nel senso che in generale non sei per niente sicuro di arrivare a un minimo, ne locale ne globale. Un esempio molto semplice è la funzione $f(x,y)=-x^2$ , la quale ha infiniti punti di massimo deboli ovvero $(0,y)$ e nessun minimo, quindi se ti metti in un punto a gradiente diverso dal vettore nullo e ti sposti nella direzione dell'antigradiente non arrivi a un minimo, anzi il valore di $f$ tende a meno infinito. Quindi un primo problema sono le funzioni non limitate inferiormente (dato che stiamo cercando dei minimi), anche se la funzione fosse limitata inferiormente ci sono altre cose che possono interferire con la ricerca del minimo, come ad esempio la presenza di punti di sella, discontinuità e punti che non ammettono un piano tangente(ovvero punti in cui la funzione non è differenziabile). Infatti l'algoritmo di steepest descent non garantisce la convergenza a un minimo (ne la convergenza in generale) senza che vengano fatte ulteriori ipotesi sulla funzione che si sta studiando.

Per la domanda sul punto di massimo, i punti con gradiente nullo sono quelli per cui esiste ed è unico il piano tangente e soprattutto tale piano tangente è "orizzontale" cioè è un piano parallelo al piano $xy$ (per funzioni $f:\mathbb{R}^2 \to \mathbb{R}$).

Non so se ho risposto a tutte le tue domande, nel caso chiedi pure

[carlo96]

Grazie mille della risposta
Sei stato molto chiaro e credo di aver capito quasi tutto, però a sto punto mi chiedo, se lo conosci, perché l algoritmo del gradiente non considera l hessiana? Forse è solo il mio prof che ci ha dato la versione più semplice.
Per quanto riguarda il massimo, ho capito che vuol dire geometricamente(piano tangente al punto orizzontale) però non capisco perché d altra parte nel massimo non trovo nessuna direzione in cui la funzione decresce, cioè da un lato il gradiente deve essere nullo, dall altro qualunque direzione mi deve far scendere ma se è nullo il gradiente non ho nessuna direzione, non riesco a spiegarmi sta cosa

[Bossmer]

Figurati,
alla prima domanda mi verrebbe da rispondere con una tautologia "non lo considera perché non lo considera"
Scherzi a parte, non so se esistono generalizzazioni di questo algoritmo che prendono in considerazione la matrice Hessiana. Se devo azzardare un ipotesi direi per semplicità, il determinante della matrice hessiana in un punto che non è critico, così su due piedi non so che informazioni ti dia sulla funzione... Inoltre come implementeresti l'hessiana ? Il metodo ti dice già di partire da un punto a caso, calcolare il gradiente, se è nullo sei già arrivato, se non lo è ti dice come calcolare il prossimo punto... non vedo come potrebbe migliorarsi con l'hessiana... però magari esistono altri metodi di ottimizzazione che utilizzano l'hessiana, però io non li conosco...


Per quanto riguarda il problema filosofico sul massimo, ti rispondo con un problema filosofico peggiore, e nel minimo allora? Perché se il gradiente è la direzione di massima crescita, ha senso che se ti trovi già nel massimo il gradiente sia nullo, perché appunto non puoi crescere (localmente) più di così sei già in un massimo... il problema davvero filosofico dovrebbe essere nel minimo...

Partiamo dal fatto che questo modo di ragionare è poco rigoroso... però direi che senza smuovere i massimi sistemi forse posso risolvere il tuo dilemma esistenziale col ragionamento seguente:

Siamo d'accordo che il gradiente corrisponde alla direzione(a meno di una normalizzazione) di massima crescita, tuttavia spero sarai d'accordo che per poter parlare di "direzione di masssima crescita" questa direzione debba esistere ed essere unica .... Quindi cosa ti dovrebbe dire il gradiente nei punti in cui questa direzione non è unica? e se addirittura non esiste questa direzione di massima crescita? Dovrebbe restituirti una direzione a caso? Questo sarebbe fuorviante e non ti permetterebbe di distinguere questi punti "particolari" dagli altri... Grazie al cielo(o meglio grazie all'analisi) in questi punti particolari il gradiente diventa il vettore nullo, e questi punti vengono chiamati "critici" ... Perché è nullo ? Perché appunto non esiste una direzione di massima crescita unica partendo da questi punti.
Infatti nei massimi forti nessuna direzione è localmente di massima crescita, nei minimi forti tutte le direzioni sono di massima crescita, in quelli deboli (di max e min) ci sono anche delle direzioni che non sono ne di crescita ne di descrescita, infine nei punti di sella c'è più di una direzione (a volte anche infinite) di massima crescita.
Spero che questo modo di vedere la faccenda ti abbia dato pace

[carlo96]

Grazie mille

Quindi l algoritmo del gradiente non assicura nessuna convergenza a un minimo locale, anche se la funzione è limitata inferiormente, perché ad esempio scendendo potrei incontrare un punto di sella e l algoritmo si ferma li, è giusto?
Un altro esempio per cui non arrivo a convergere a un minimo pur essendo la funzione limitata inferiormente quale potrebbe essere?

Poi sulla 2 parte non ho capito cosa intendi per massimo forte e debole, forse credo intendi assoluto e relativo . Se è così non mi aspettavo che in un massimo debole ci potessero essere anche direzioni costanti, secondo me infatti in un punto di minimo (assoluto o locale) tutte le direzioni sono di massima crescita e nel punto di massimo(assoluto o locale) nessuna, mentre nel punto di sella ci potrebbero essere diverse direzioni di massima crescita ecco dunque perché vettore gradiente è nullo. Insomma grazie a quello che mi hai detto e sulla base della mia conoscenza ho capito questo

[Bossmer]

Quindi l algoritmo del gradiente non assicura nessuna convergenza a un minimo locale, anche se la funzione è limitata inferiormente, perché ad esempio scendendo potrei incontrare un punto di sella e l algoritmo si ferma li, è giusto?
Un altro esempio per cui non arrivo a convergere a un minimo pur essendo la funzione limitata inferiormente quale potrebbe essere?

Esatto, un'altro problema ad esempio sono i punti di discontinuità, e i punti di non differenziabilità, perché in entrambi potremmo avere una o più derivate direzionali che tendono a meno infinito, e di conseguenza l'algoritmo non converge ( in molti casi non raggiunge nemmeno questi punti e ci si avvicina per sempre ).

Grazie mille
Poi sulla 2 parte non ho capito cosa intendi per massimo forte e debole, forse credo intendi assoluto e relativo . Se è così non mi aspettavo che in un massimo debole ci potessero essere anche direzioni costanti, secondo me infatti in un punto di minimo (assoluto o locale) tutte le direzioni sono di massima crescita e nel punto di massimo(assoluto o locale) nessuna, mentre nel punto di sella ci potrebbero essere diverse direzioni di massima crescita ecco dunque perché vettore gradiente è nullo. Insomma grazie a quello che mi hai detto e sulla base della mia conoscenza ho capito questo

No no intendo proprio forte e debole, un punto $c$ di massimo(locale o globale che sia) è detto forte se $f(x)< f(c)$ per ogni $x$ in un opportuno intorno di $c$ , mentre è detto debole se $f(x)\le f(c)$, una definizione analoga si ha per i minimi forti e deboli, se non ti convince scrivi su google massimo forte e debole e lo trovi spiegato in tutte le salse... Questo risponde anche al tuo dubbio sulle direzioni costanti... se guardi un video sui massimi o i minimi deboli con un immagine fidati che ti si chiarisce tutto... Tutto quello che hai capito dopo è corretto , semplicemente si applica ai massimi e minimi forti (locali e globali=assoluti) ... per i massimi e i minimi deboli ci sono anche delle direzioni costanti...