答案：
解: 根据题设, 易知 $\int_a^b|x| \mathrm{d} x=-\frac{1}{2}\left(a^2+b^2\right)=-\frac{1}{2}$, 所以 $a^2+b^2=1$.
注意到直线 $y=a x$ 与抛物线 $y=x^2+b x$ 的交点为 $(0,0),\left(a-b, a^2-a b\right)$, 所以所求面积为
$$
S=\int_0^{a-b}\left(a x-x^2-b x\right) \mathrm{d} x=(a-b) \int_0^{a-b} x \mathrm{~d} x-\int_0^{a-b} x^2 \mathrm{~d} x=\frac{1}{6}(a-b)^3 .
$$
根据拉格朗日乘数法,构造函数
$$
L(a, b, \lambda)=\frac{1}{6}(a-b)^3+\lambda\left(a^2+b^2-1\right), a \geqslant 0, b \leqslant 0,
$$
令 $\frac{\partial L}{\partial a}=0, \frac{\partial L}{\partial b}=0, \frac{\partial L}{\partial \lambda}=0$,得
$$
\left\{\begin{array}{l}
\frac{1}{2}(a-b)^2+2 \lambda a=0, \\
-\frac{1}{2}(a-b)^2+2 \lambda b=0, \\
a^2+b^2-1=0,
\end{array}\right.
$$
解得驻点 $(a, b)=\left(\frac{\sqrt{2}}{2},-\frac{\sqrt{2}}{2}\right)$, 此时 $S=\frac{\sqrt{2}}{3}$. 此外, 在点 $(a, b)=(0,-1)$ 与 $(1,0)$ 处, 均有 $S=\frac{1}{6}$.
因此, 所求面积的最大值为 $S_{\text {max }}=\frac{\sqrt{2}}{3}$, 最小值为 $S_{\text {min }}=\frac{1}{6}$.