а) Пусть $F=DA\cap CB$. Биссектриса $DN$ угла $FDC$ проходит через центр $O$ вписанной окружности и является высотой треугольника $FDC$. Поэтому $DNF$ — равнобедренный прямоугольный треугольник:
$$FD=\sqrt2ND=\sqrt2(NO+OD)=\sqrt2(R+\sqrt2R)=2R+\sqrt2R.$$
Тогда $AF=FD-AD=\sqrt2R$. Треугольник $FAB$ также равнобедренный прямоугольный, поэтому $GB=AB-AG=\sqrt2R-R=(\sqrt2-1)R$. Отрезки касательных из $B$ равны, следовательно, $BN=GB=(\sqrt2-1)R$.

б) Так как $BN=GB$ и $ON=OG$, четырёхугольник $BNOG$ симметричен относительно $BO$ и в него можно вписать окружность. В прямоугольном треугольнике $OGB$:
$$OB=\sqrt{OG^2+GB^2}=R\sqrt{4-2\sqrt2}.$$
Треугольники $OGB$ и $ONB$ равны, поэтому $OB$ — биссектриса угла $GON$. Пусть $Q$ — пересечение $OB$ с биссектрисой угла $BGO$. По свойству биссектрисы треугольника $BGO$:
$$\dfrac{BG}{GO}=\dfrac{BQ}{QO}=\dfrac{BO-QO}{QO}=\dfrac{BO}{QO}-1,$$
откуда $QO=\dfrac{GO\cdot BO}{BG+GO}=\dfrac{R\sqrt{4-2\sqrt2}}{\sqrt2}$. Если $QH\perp GO$, то из подобия треугольников $OQH$ и $OBG$:

$$QH=BG\cdot\dfrac{OQ}{OB}=\dfrac{(\sqrt2-1)R}{\sqrt2}=R\cdot\dfrac{2-\sqrt2}2=6-3\sqrt2.$$
Ответ: б) $6-3\sqrt2$