Ti propongo una strada intuitiva. Non so se lavori nel piano affine o proiettivo : da poco ragiono sul secondo, quindi userò il primo! (non dovrebbe cambiare molto)
Userò i seguenti fatti
i) La direzione normale $n_{\pi}$ ad un piano $\pi : ax+by+cz+d=0$, con $(a,b,c)\ne(0,0,0)$ è data proprio dal vettore $(a,b,c)$ (o un suo qualunque multiplo). Nel nostro caso $n_{S}=(0,1,-1)$
ii) La distanza di un punto $P=(x,y,z)$ dal piano $\pi : ax_{1}+bx_{2}+cx_{3}+d=0$ è
\[
d(P,\pi)=\frac{|ax+by+cz+d|}{\sqrt{a^{2}+b^{2}+c^{2}}}
\]
iii) il piano divide lo spazio in due regioni dette semispazi, retti dalle disequazioni $ax_{1}+bx_{2}+cx_{3}+d\ge0$ o $ax_{1}+bx_{2}+cx_{3}+d\le 0$
Partiamo. Sia un punto $P=(x,y,z)$ : il punto immagine $Q=\alpha(x,y,z)$ deve essere disposto in modo tale che la retta $r$ che li unisce
1) sia normale al piano $S$;
2) incontri $S$ nel punto medio del segmento $PQ$
Ti basterebbe, dunque, imporre queste due condizioni ma tu $Q$ non lo conosci. Ciò però non è un problema : la retta $r$ passa per $P$ ed è normale al piano, pertanto puoi conoscere la sua equazione, che è
\[
r :\begin{cases}
x_{1}=x\\
x_{2}=y+s\\
x_{3}=z-s
\end{cases} \qquad s\in \mathbb{R}
\]
Per ora sappiamo che $Q$ è su $r$ ed è quindi del tipo $(x,y+s,z-s)$. Ci basta trovare $s$
Imponiamo la condizione 2) : la distanza di $P$ da $S$ è $d=\frac{|y-z|}{\sqrt{2}}$, quindi $PQ=2d=\sqrt{2}|y-z|$ e
\[
PQ=\sqrt{(x-x)^{2}+(y+s-y)^{2}+(z-s-z)^{2}}=|s|\sqrt{2}
\]
Ne deduciamo che $|s|=|y-z|$, cioè $s=\pm(y-z)$. Ora la doppia soluzione non ci appare insensata ma quale dobbiamo scegliere? Quello che si può notare è che $P$ e $Q$ si trovano in due semispazi diversi, quindi
1) se $P\in \{(x_{1},y_{2},z_{2}) : x_{2}\ge x_{3}\}$, cioè se $y\ge z$ deve risultare $Q\in \{(x_{1},y_{2},z_{2}) : x_{2}\le x_{3}\}$, cioè $(y+s) \le (z-s) \Rightarrow (y-z) \le -2s$ : quindi $s$ deve essere negativo, cioè $s=z-y$
2) se $P\in \{(x_{1},y_{2},z_{2}) : x_{2}\le x_{3}\}$, cioè se $z\ge y$ deve risultare $Q\in \{(x_{1},y_{2},z_{2}) : x_{2}\ge x_{3}\}$, cioè $(y+s) \ge (z-s) \Rightarrow (z-y) \le 2s$ : quindi $s$ deve essere positivo, cioè $s=z-y$
Quindi, in ogni caso, $s=z-y$. Abbiamo finito
\[
Q=(x,z,2z-y)
\]
Quindi
\[
\alpha(x,y,z)=(x,z,2z-y)
\]
La costruzione di $\beta$ si può fare con analoghi ragionamenti.
La cosa che mi perplime è quel $\beta^{-1}$
(non mi pare che la proiezione ortogonale sia iniettiva!)