Seguiamo quanto ha fatto correttamente Tipper, lui parte considerando $gcd(5,17)=1$ questa è una condizione necessaria affinche ci sia soluzione! Da questo cerca l'inverso di $5$ che in questo caso è $7$ perchè $5*7=35=17*2+1$ che modulo $17$ è esattamente $1$.
Allora:
$5x=8 (mod 17)$
moltiplico ambo i membri per $7$
$7*5x =7*8 (17)$
$x=56 (17)$
ma il $56=51+5=17*3+5 \equiv 5(17)$
e quindi il risultato:
$x\equiv 5(17)$