Gọi cạnh đáy vuông là \(x\) cm với \(0 < x < \sqrt{108}\) và chiều cao là \(h\) cm với \(h > 0\).
Hộp không có nắp nên diện tích bề mặt gồm 1 đáy vuông và 4 mặt bên:
\[x^2 + 4xh = 108 \Rightarrow h = \frac{108 - x^2}{4x} \text{ (cm)}\]
Thể tích hộp:
\[V = x^2 \cdot h = x^2 \cdot \frac{108 - x^2}{4x} = \frac{108x - x^3}{4} \text{ (cm}^3\text{)}\]
Tính đạo hàm:
\[V' = \frac{-3x^2 + 108}{4}\]
Giải \(V' = 0\):
\[-3x^2 + 108 = 0 \Rightarrow x^2 = 36 \Rightarrow x = 6 \text{ (do } x > 0\text{)}\]
Bảng biến thiên:

Từ bảng biến thiên, \(V\) đạt cực đại (và cũng là giá trị lớn nhất trên khoảng xác định) tại \(x = 6\).
Chiều cao tương ứng:
\[h = \frac{108 - 6^2}{4 \cdot 6} = \frac{108 - 36}{24} = \frac{72}{24} = 3 \text{ (cm)}\]
Vậy chiếc hộp có thể tích lớn nhất khi cạnh đáy bằng 6 cm và chiều cao bằng 3 cm.