I likhet med mange andre reformatorer hadde William Miller (1782-1849) i sine yngre dager stridd med fattigdom. Av det lærte han flid og nøysomhet. Slekten hans var kjent for sin uavhengige, frihetselskende holdning, sin utholdenhet og glødende patriotisme, noe som også preget ham. Hans far var offiser i den amerikanske borgerkrigen, og de trange kår under Millers oppvekst kan ha sammenheng med farens oppofrende innsats i denne stormfulle tiden med kamp og lidelser.