se ho capito bene vuoi usare il teorema di Lyapunoff per dimostrare la stabilità di quell'equilibrio. Intanto occhio che il teo dà una condizione solo sufficiente per la stabilità nel futuro, quindi se trovi che le ipotesi non sono soddisfatte ritorni al punto di partenza.
Osserva poi che hai calcolato la derivata di Lie della funzione V, ed hai fatto bene, ma ti sei fermato a metà
$(dx)/(dt)$ infatti sarebbe $x'$, cioè $y-x^3$, ed idem per y
sostituiscili ed otterrai qualcosa di decisamente più facile da studiare.
ora vediamo se le ipotesi del teo sono verificate:
1) (0,0) è minimo stretto per V(x,y) almeno in un intorno U dell'equilibrio (e qui è vero addirittura in tutto $RR^2$, basta osservare che $v(x,y) >=0 AA (x,y)in R^2$ e che $V(0,0) = 0$)
2) la derivata di Lie di V deve essere non positiva nell'intorno U dell'equilibrio (quindi, nel nostro caso, in tutto $RR^2$).
Calcolo la derivata di Lie di V ed ottengo
$L_(f) V(x,y) = (y-x^3) (6x^5) + (-x^5) (6y) = x^5(6y - 6x^3 - 6y) = -6x^8$
una volta calcolata tale derivata direi si vede subito come sia sempre non positiva, quindi il punto è stabile nel futuro.