Selv om Gaussen var en av de mest fremtredende og avholdte fransktalende predikanter, ble han etter en tid avsatt fra presteembetet. Hovedanklagen mot ham var at han brukte Bibelen som lærebok for ungdommen i stedet for kirkens katekisme, som var tørr og rasjonalistisk og nesten ikke inneholdt noe om positiv tro.