E' davvero dura leggere un testo di matematica scritto in
italiano. Se hai tempo dai un'occhiata alla guida su come scrivere in
matematichese Passiamo al problema: non esiste un unico prodotto scalare, tu conosci probabilmente quello euclideo, che denotiamo con $\langle, \rangle$, ma ce ne sono infiniti altri. Un modo per ottenere uno di questi prodotti scalari è prendere una matrice $A$, come nel tuo caso, e definire, per ogni coppia $x,y\in\mathbb{R}^3$ il prodotto scalare
\[
\langle x,y\rangle_A:=\langle x, y\cdot A\rangle
\]
Qui devi sapere cosa è il prodotto vettore/matrice, se non lo sai vai a vedere cos'è e dovrebbe esserti chiara la definizione di questo prodotto scalare.
Appena capita la definizione puoi verificare se è un prodotto scalare calcolando se è simmetrico e bilineare. Infine c'è la questione dell'angolo. Sai che $\langle u, v\rangle_A=||u||_A ||v||_A\cdot\cos(\phi)$ dove $\phi$ è proprio l'angolo compreso. Occhio che $||u||_A:=\langle u,u\rangle_A$