Актёр родился 1 февраля 1901 года в Кадисе, штат Огайо. Он был единственным ребёнком Уильяма Генри Гейбла, буровика на нефтяной скважине, и его жены Аделины (в девичестве — Гершельман). Предки его родителей были выходцами из Германии. Мать Кларка страдала от эпилепсии и скончалась через семь месяцев после его рождения, поэтому мальчика вырастили отец и мачеха, Дженни Данлап.

Актер был женат пять раз:

* 1. Джозефина Диллон, которая была старше Кларка на 14 лет. (1924—1931 гг.)

* 2. Рея Лэнгхэм, была старше Гейбла на 17 лет (1931—1939 гг.)

* 3. Кэрол Ломбарт (1939—1942 гг.)

* 4. Сильвия Эшли, брак продлился 3 недели

* 5. Кей Спрекелс, с ней он остался до конца своих дней.