Et slående eksempel på de tyranniske tendensene hos denne «ufeilbarhetens forkjemper» ses i hans behandling av den tyske keiser Henrik 4. Keiseren ble lyst i bann og avsatt fordi han ikke ville anerkjenne pavens myndighet. Han ble skremt da hans egne fyrster sviktet og opptrådte truende overfor ham etter at paven hadde påvirket dem til å gjøre opprør, og derfor følte han at han var nødt til å slutte fred med Roma. Sammen med sin kone og en trofast tjener dro han midtvinters over Alpene for å ydmyke seg for paven. Da han kom til borgen der Gregor oppholdt seg, ble han ført inn i det ytre gårdsrommet uten sin egen livvakt. Der sto han i vinterkulden, barhodet og barføtt og med bare de aller nødvendigste klærne, og ventet på at paven skulle slippe ham inn. I tre dager måtte han faste og gjøre bot før paven nedlot seg til å tilgi ham, og det var bare på betingelse av at keiseren ventet på pavens samtykke før han igjen kunne ta på seg sine verdighetstegn eller utøve sin myndighet. Paven ble hovmodig av denne seieren og skrøt av at det var hans plikt å knekke kongers stolthet.