а) Плоскость $\alpha$ пересекает $CC_1$, поэтому пересекает и $BB_1$; обозначим точку пересечения с $BB_1$ буквой $N$. Середины $AC$ и $A_1C_1$ обозначим $K$ и $K_1$, точку пересечения $KB_1$ и $K_1N$ — $H$. Угол $K_1HB_1$ — линейный угол между плоскостями $ACB_1$ и $\alpha$, поэтому он прямой.

В прямоугольнике $KBB_1K_1$ имеем $KB=\dfrac{\sqrt3}2AB=\dfrac{\sqrt3}2\cdot\dfrac45BB_1=\dfrac{2\sqrt3}5BB_1$. Прямоугольные треугольники $KK_1B_1$ и $K_1B_1N$ подобны, поэтому
$$\dfrac{NB_1}{K_1B_1}=\dfrac{K_1B_1}{KK_1};\qquad NB_1=\dfrac{K_1B_1^2}{KK_1}=\dfrac{12}{25}BB_1;\qquad B_1N:NB=12:13.$$

б) Пусть $E$ — проекция $A_1$ на плоскость $BCC_1$. Косинус угла между $BCC_1$ и $\alpha$ равен отношению площадей треугольников $NEC_1$ и $NA_1C_1$:
$$\dfrac{S_{NEC_1}}{S_{NA_1C_1}}=\dfrac{0{,}5S_{NB_1C_1}}{0{,}5A_1C_1\sqrt{C_1N^2-(\dfrac{A_1C_1}{2})^2}}=\dfrac{0{,}5NB_1}{\sqrt{NB_1^2+\dfrac{3A_1C_1^2}{4}}}.$$
Подставляя $NB_1=\dfrac{12}{25}BB_1$ и $A_1C_1=\dfrac45BB_1$, получаем
$$\cos\varphi=\dfrac{\frac6{25}BB_1}{\sqrt{(\frac{12}{25}BB_1)^2+\frac34(\frac45BB_1)^2}}=\dfrac6{\sqrt{144+300}}=\dfrac3{\sqrt{111}}=\dfrac{\sqrt{111}}{37}.$$

Ответ: б) $\arccos\dfrac{\sqrt{111}}{37}$