Il fatto che tu abbia tenuto conto che \(C \in \pi'\) va benone, però credo tu abbia commesso qualche errore, perché il risultato non è quello. Circa la questione geometrica, quel determinante corrisponde ad un modo pratico per calcolare il prodotto vettoriale tra due vettori, il quale in output fornisce un terzo vettore ortogonale agli altri due, che pertanto sarà non nullo se i due vettori in input sono non nulli e sono non paralleli. Ecco spiegato il perché "funziona" quello che hai imposto, al netto dei calcoli, ovviamente.
Circa la mia strategia, io avrei tenuto conto che due vettori paralleli sono proporzionali, quindi: \[
(0,-3,-2) = \lambda[(-1,-1,0)-(x_c, -3 x_c - 2 z_c - 5, z_c)]
\] sistema di tre equazioni in tre incognite che risolto porge le coordinate di \(C\); poi \(r = ||P-C||\).