Figurati,
alla prima domanda mi verrebbe da rispondere con una tautologia "non lo considera perché non lo considera"
Scherzi a parte, non so se esistono generalizzazioni di questo algoritmo che prendono in considerazione la matrice Hessiana. Se devo azzardare un ipotesi direi per semplicità, il determinante della matrice hessiana in un punto che non è critico, così su due piedi non so che informazioni ti dia sulla funzione... Inoltre come implementeresti l'hessiana ? Il metodo ti dice già di partire da un punto a caso, calcolare il gradiente, se è nullo sei già arrivato, se non lo è ti dice come calcolare il prossimo punto... non vedo come potrebbe migliorarsi con l'hessiana... però magari esistono altri metodi di ottimizzazione che utilizzano l'hessiana, però io non li conosco...
Per quanto riguarda il problema filosofico sul massimo, ti rispondo con un problema filosofico peggiore, e nel minimo allora? Perché se il gradiente è la direzione di massima crescita, ha senso che se ti trovi già nel massimo il gradiente sia nullo, perché appunto non puoi crescere (localmente) più di così sei già in un massimo... il problema davvero filosofico dovrebbe essere nel minimo...
Partiamo dal fatto che questo modo di ragionare è poco rigoroso... però direi che senza smuovere i massimi sistemi forse posso risolvere il tuo dilemma esistenziale col ragionamento seguente:
Siamo d'accordo che il gradiente corrisponde alla direzione(a meno di una normalizzazione) di massima crescita, tuttavia spero sarai d'accordo che per poter parlare di "direzione di masssima crescita" questa direzione debba esistere ed essere unica .... Quindi cosa ti dovrebbe dire il gradiente nei punti in cui questa direzione non è unica? e se addirittura non esiste questa direzione di massima crescita? Dovrebbe restituirti una direzione a caso? Questo sarebbe fuorviante e non ti permetterebbe di distinguere questi punti "particolari" dagli altri... Grazie al cielo(o meglio grazie all'analisi) in questi punti particolari il gradiente diventa il vettore nullo, e questi punti vengono chiamati "critici" ... Perché è nullo ? Perché appunto non esiste una direzione di massima crescita unica partendo da questi punti.
Infatti nei massimi forti nessuna direzione è localmente di massima crescita, nei minimi forti tutte le direzioni sono di massima crescita, in quelli deboli (di max e min) ci sono anche delle direzioni che non sono ne di crescita ne di descrescita, infine nei punti di sella c'è più di una direzione (a volte anche infinite) di massima crescita.
Spero che questo modo di vedere la faccenda ti abbia dato pace
"In matematica non si capiscono le cose. Semplicemente ci si abitua ad esse."
[John von Neumann]