Selv om Gaussen var en av de mest framtredende og avholdte fransktalende predikantene, ble han etter en tid avsatt fra presteembetet. Hovedanklagen mot ham var at han brukte Bibelen som lærebok for ungdommen i stedet for kirkens katekisme som var tørr og rasjonalistisk og nesten ikke inneholdt noe om positiv tro.