Ok vediamo un po'... innanzitutto controlla di aver rappresentato la situazione come nell'immagine che ti allego (realizzata con GeoGebra, un tool open source utilissimo che se non hai già ti consiglio di scaricare).
L'intersezione tra le due parabole si ha in $(1,1)$ oltre che nell'origine e dunque $0<a<1$ (rivedi i tuoi calcoli...).
A questo punto occorre individuare un'espressione per l'area del triangolo dipendente da $a$, senza scomodare Erone
, con qualche considerazione geometrica possiamo ottenere al variare di $a$ il valore della base $PQ$ e dell'altezza relativa ad essa.
Il segmento $PQ$ può essere ricavato come (modulo della) differenza tra le ordinate dei suoi estremi, dunque $b=PQ=y_Q-y_P=-9a^2+10a-(9a^2-8a)=-18a^2+18a$ L'altezza invece è più semplice e si ottiene come differenza tra le ascisse di R e dei punti della base, ovvero $h=1-a$.
L'area data dalla formula elementare $S=(b*h)/2$ con qualche passaggio diventa $S(a)=9(a^3-2a^2+a)$.
Da qui in poi il problema è tutto "in discesa": ottieni $S'(a)=9(3a^2-4a+1)$ e se i miei calcoli sono corretti un'area massima di $4/3$ in corrispondenza di $a=1/3$.
Un umile consiglio: think simple! Solitamente in questi problemi al liceo difficilmente si va oltre una similitudine tra triangoli come difficoltà geometriche. Questo problema però è ben costruito, se ti va prova a creare su GeoGebra uno slider per $a$ nel suo intervallo di definizione e guarda come varia l'area del triangolo...