a) Ta có: \(y' = - 3({m^2} + 5m){x^2} + 12mx + 6\)
Hàm số đơn điệu trên \(\mathbb{R}\) khi và chỉ khi \(y'\) không đổi dấu.
Ta xét các trường hợp:
+) \({m^2} + 5m = 0 \Leftrightarrow \left[ \begin{array}{l}m = 0\\m = - 5\end{array} \right.\)
- Với \(m = 0\) thì \(y' = 6 > 0\) nên hàm số luôn đồng biến (thỏa mãn)
- Với \(m = - 5\) thì \(y' = - 60x + 6\) đổi dấu khi \(x\) đi qua \(\dfrac{1}{{10}}\) nên hàm số không đơn điệu trên \(\mathbb{R}\) (loại).
+) Với \({m^2} + 5m \ne 0 \Leftrightarrow \left\{ \begin{array}{l}m \ne 0\\m \ne - 5\end{array} \right.\).
Khi đó, \(y'\) không đổi dấu nếu \(\Delta ' = 36{m^2} + 18({m^2} + 5m) \le 0\)\( \Leftrightarrow 3{m^2} + 5m \le 0\)\( \Leftrightarrow - \dfrac{5}{3} \le m \le 0\)
Với điều kiện đó, ta có \( - 3({m^2} + 5m) > 0\) nên \(y' > 0\) và do đó hàm số đồng biến trên \(\mathbb{R}\).
Vậy với điều kiện \( - \dfrac{5}{3} \le m \le 0\) thì hàm số đồng biến trên \(\mathbb{R}\).
b) Nếu hàm số đạt cực đại tại \(x = 1\) thì \(y'\left( 1 \right) = 0\)\( \Leftrightarrow - 3{m^2} - 3m + 6 = 0\)\( \Leftrightarrow \left[ \begin{array}{l}m = 1\\m = - 2\end{array} \right.\)
Mặt khác, \(y'' = - 6({m^2} + 5m)x + 12m\)
+) Với \(m = 1\;\) thì \(y'' = - 36x + 12\). Khi đó, \(y''\left( 1 \right) = - 24 < 0\), hàm số đạt cực đại tại \(x = 1\).
+) Với \(m = - 2\) thì \(y'' = 36x-24\). Khi đó, \(y''\left( 1 \right) = 12 > 0\), hàm số đạt cực tiểu tại \(x = 1\).
Vậy với \(m = 1\;\) thì hàm số đạt cực đại tại \(x = 1\).