Hans mor var mycketfrom. Religionen gjorde djupt intryck på honom under barndomen. I sin tidiga barndom kom han emellertid in i en krets av deister. Deras inflytande blev väldigt starkt. De var ju synnerligen goda medborgare och utmärkte sig för medmänsklighet och välgörenhet. Eftersom de levde mitt i en kristen miljö, påverkades deras livsföring i viss mån av deras omgivning. De hade Bibeln att tacka för de utmärkta egenskaper som gav dem respekt och förtroende. Ändå förvändes dessa gåvor så att deras inflytande kom att motarbeta Bibeln. Samvaron med dessa människor kom Miller att godta deras synpunkter. Den vanliga tolkningen av Bibeln bjöd på svårigheter som tycktes honom vara oöverstigliga. Men hans nya tro, som förkastade Bibeln, erbjöd ingenting bättre i dess ställe. Han var långtifrån tillfredsställd. Ändå höll han fast vid dessa synpunkter i över tolv år. Då han blev 34 år gammal fick han emellertid genom den helige Andes påverkan en känsla av sitt eget syndiga tillstånd. I sin tidigare tro fann han ingen förvissning om lycka efter döden. Framtiden tycktes dyster och mörk. Han skrev senare om sina känslor under denna tid: