Dès son accession au pouvoir, Rodolphe entend remettre de l'ordre dans l'empire, d'abord en mettant fin aux multiples petites guerres privées entre seigneurs locaux, mais aussi et surtout en récupérant des territoires qui étaient indûment occupés par certains princes, à commencer par le duché d'Autriche. Celui-ci avait longtemps été la propriété de la famille des Babenberg, mais cette lignée de ducs s'était éteinte en 1246, avec la mort sans héritier mâle du duc Frédéric le Batailleur. L'héritage d'un fief ainsi tombé en déshérence devait normalement revenir à l'empereur. Cependant, le roi de Bohême Ottokar II, qui avait épousé Marguerite la sœur du duc défunt, avait profité de la vacance du pouvoir durant le Grand Interrègne pour s'emparer du duché d'Autriche après avoir vaincu son rival, le roi de Hongrie Béla IV. Craignant sans doute l'arrivée au pouvoir de l'ambitieux Rodolphe de Habsbourg, Ottokar avait aussi été le seul des sept princes-électeurs à ne pas voter pour lui. Il ne s'était pas rendu non plus à la cérémonie du couronnement.
Rodolphe ne tarde pas à convoquer Ottokar II devant la Diète impériale afin qu'il lui prête l'hommage pour ses fiefs de Bohême et de Moravie et qu'il restitue le duché d'Autriche. Comme le roi de Bohême ne répond pas à cette convocation, il est mis au ban de l'empire et Rodolphe met sur pied une coalition contre lui. En Autriche même, une partie de la noblesse et des villes se soulève contre Ottokar, qui est contraint de négocier la paix: il ne conserve que ses possessions de Bohême et de Moravie. Ayant reconstitué des forces, il reprend les hostilités quelques années plus tard, mais il est finalement vaincu et tué à la bataille de Marchfeld, le 26 août 12782.
Rodolphe prend ainsi possession des duchés d'Autriche, de Styrie et de Carinthie qu'il inféode à son fils aîné et successeur Albert et de la Carniole qu'il confie à Meinhard de Goritz dont la fille Élisabeth épouse son fils Albert.
Jeanne, nonne, († 1295)
Isabelle, (1270 † 1323), mariée en premières noces à Rodolphe Ier de Habsbourg (1216 † 1291), empereur romain germanique, puis avec Pierre de Chambly, seigneur de Neauphle