Возможное решение.
Обоснование
1. Рассмотрим задачу в системе отсчёта, связанной с Землёй. Будем считать эту систему отсчёта инерциальной (ИСО).
2. Описываем стержень с шарами моделью твёрдого тела (форма и размеры тела неизменны, расстояние между любыми двумя точками тела остаётся неизменным).
3. Стержень с шарами не движется поступательно, поэтому сумма внешних сил, действующих на него, равна нулю.
4. Стержень с шарами не вращается, поэтому сумма моментов внешних сил относительно оси, проходящей через точку $A$ перпендикулярно плоскости рисунка, равна нулю.
Решение
1. На твёрдое тело, образованное стержнем и двумя шарами, действуют следующие внешние силы: силы тяжести $m_1\vec{g}$ и $m_2\vec{g}$, приложенные к центрам шаров, и силы реакции опор $\vec{N}_1$ и $\vec{N}_2$. По третьему закону Ньютона модули сил реакции равны соответствующим модулям сил давления стержня на опоры, поэтому $N_2=2N_1$ (в соответствии с условием задачи).

2. В инерциальной системе отсчёта $Oxy$, связанной с Землёй, условия равновесия тела приводят к системе уравнений:
$$\begin{cases}N_1+N_2-m_1g-m_2g=0 & \text{— центр масс не движется вдоль } Oy;\\ N_1x+N_2(l+x)-m_2gL=0 & \text{— нет вращения вокруг точки } A.\end{cases}$$
Здесь $l=CD$, $x$ — плечо силы $N_1$ ($x=AC$).
3. С учётом условия $N_2=2N_1$ систему уравнений перепишем в виде:
$$\begin{cases}3N_1=(m_1+m_2)g;\\ (3x+2l)N_1=m_2gL.\end{cases}$$
Поделив второе уравнение на первое, получим: $x+\dfrac{2}{3}l=\dfrac{m_2}{m_1+m_2}L$, откуда $m_2=\dfrac{m_1}{\dfrac{L}{\frac{2}{3}l+x}-1}$.
4. Подставляя значения физических величин, получим ответ:
$$m_2=\dfrac{5}{\dfrac{1{,}8}{\frac{2}{3}\cdot 0{,}6+0{,}8}-1}=10\ \text{кг}.$$
Ответ: $m_2=10$ кг.