De tyranniska böjelserna hos denne förkämpe för ofelbarheten kom tydligt till uttryck i hans behandling av den tyske kejsaren Henrik IV. Kejsaren förklarades vara utstött av kyrkan och avsatt, eftersom han vägrade att erkänna påvens myndighet. Henrik blev rädd, då han svektes och hotades av sina egna furstar, som gjorde uppror mot honom på påvens befallning, och ansåg det vara nödvändigt, att sluta fred med Rom. Tillsammans med sin hustru och en trofast tjänare drog han över Alperna mitt i vintern, för att ödmjuka sig inför påven. Då han anlände till det slott, där Gregorius uppehöll sig, blev han förd in på en förgård, utan att ledsagas av sin livvakt. Här måste han stanna i vinterkölden, utan huvudbonad och utan skor på fötterna samt endast iförd de nödtorftigaste kläder, medan han inväntade påvens tillåtelse att bli insläppt. Påven nedlät sig först till att benåda honom, då han hade fastat och bekänt sina synder i tre dagar. Då dessa hade gått, skedde det ändå bara på betingelse av, att kejsaren väntade med att iföra sig sina värdighetstecken och utöva sin kejserliga makt, tills han hade fått påvens gillande. Gregorius blev högmodig över denna seger och prålade med, att det var hans plikt, att knäcka kungarnas stolthet.