亨利四世6岁即位，由母后摄政。1065年，亨利四世满15岁，开始亲政。1073年，科隆大主教伙同美因茨大主教、沃尔姆斯主教等举行叛乱，捣毁城堡和建筑，把亨利四世弄得焦头烂额。值此危难之际，莱茵市民向他伸出援助之手。亨利四世在沃尔姆斯和科隆市民的支持下迅速平定叛乱。亨利四世与市民结盟的政策是正确的。如果能长期坚持，德国有可能克服分裂局面，实现国家的统一。不幸的是，没完没了的侵略意大利的战争，特别是继起的霍亨斯陶芬王朝把政策的重点仍然放在侵略意大利上，在国内纵容诸侯，改变同城市结盟的政策，使得德国朝另一个方向发展，又一次破坏了统一事业。
1076年1月，即平定叛乱后不久，亨利四世在沃尔姆斯召开主教会议，与教皇展开针锋相对的斗争。支持亨利四世的除部分教士外，还有骑士和莱茵城市。1月24日，亨利四世写信给教皇，开头称他是“伪僧”喜尔德布兰，要他从使徒的座位上滚下来，接受万古的咒骂。同一天，众主教也宣布不承认其教皇地位。2月23日，教皇下令开除亨利四世的教籍，解除他在德国和意大利的统治权。这个教皇令成了不满皇权的德国封建主重新闹事的信号。士瓦本公爵和巴伐利亚公爵等在乌尔姆集会，酝酿选举一位新国王。10月16日，不满的诸侯和主教在特里布尔（沃尔姆斯附近）集会，限期亨利四世在一年内与教皇谈判恢复教籍，否则不承认他是国王。1077年1月，亨利四世不得不亲往意大利的卡诺沙（托斯卡纳伯爵夫人的城堡），赤足披毡，在风雪中等候三天三夜，到第四天才受到教皇的接见，获得赦免。卡诺沙事件是教皇的胜利，但亨利四世也有收获，它使反叛的诸侯另立国王的企图失去借口，也争取到时间以便重新聚集力量。3月，反对派在福尔希海姆集会，另立士瓦本公爵鲁道夫为王。亨利四世在沃尔姆斯、伍兹堡市民的支持下，平定叛乱，鲁道夫逃往萨克森。1081年，亨利四世带兵击毙鲁道夫，乘胜攻入意大利，1084年占领罗马，另立拉文那的维伯尔特为教皇，即克莱门特三世。格雷戈里七世南逃萨莱诺，第二年去世。新教皇为亨利四世加冕，亨利四世则封出兵意大利有功的捷克诸侯为捷克国王。