$A, B, C, D$ 四人进行羽毛球单打循环练习赛, 其中每局有两人比赛, 每局比赛结束时, 负的一方下场, 第 1 局由 $A, B$ 对赛, 接下来按照 $C, D$ 的顺序上场第 2 局、第 3 局(来替换负的那个人), 每次负的人其上场顺序排到另外 2 个等待上场的人之后(即排到最后一个), 需要再等 2 局(即下场后的第 3 局)才能参加下一场练习赛. 设各局中双方获胜的概率均为 $\frac{1}{2}$, 各局比赛的结果相互独立.
(1)求前 4 局 $A$ 都不下场的概率;
(2)用 $X$ 表示前 4 局中 $B$ 获胜的次数, 求 $X$ 的分布列和数学期望.