Nascido Filipe de Hohenstaufen, foi duque da Suábia, marquês da Toscana, príncipe-bispo de Würzburg, rei da Germânia e rei dos Romanos.
O antigo Ducado da Suábia compreendia um território que hoje se localiza nos estados alemães da Baviera e Baden-Württemberg.
Filipe era o mais novo entre os filhos varões de seu pai e, assim, foi inicialmente preparado para uma carreira eclesiástica. Em 1193, aos 17 anos, abdicou do título de bispo para seguir uma carreira política. Dois anos depois, seu irmão, o Imperador Romano-Germânico Henrique VI, tornou-o marquês da Toscana e depois duque da Suábia. Ao tempo da morte de Henrique, em 1197, Filipe foi excomungado pela Igreja. Henrique havia deixado apenas um filho, que foi reconhecido como rei dos romanos. Este, entretanto, tinha apenas três anos de idade e estava ausente na Sicília. Filipe, então, foi persuadido a aceitar o título. Em 8 de março de 1198, em Mühlhausen (na atual Baviera, Alemanha), os príncipes germanos o elegeram rei dos romanos e, em 8 de setembro, em Mogúncia (ou Mainz, na atual Renânia-Palatinado, Alemanha), ele foi coroado pelo arcebispo de Tarentaise (na atual França). Os opositores dos Hohenstaufen não aceitaram e providenciaram outro candidato, Oto IV de Brunswick. Seguiram-se uma série de disputas, envolvendo vários nobres e o papado, chegando a uma guerra civil. O papa forçou os dois contendores a firmarem um acordo. Filipe ofereceu sua filha mais velha em casamento a Oto, junto com um generoso dote, porém Oto não aceitou. Filipe negociou um acordo com o papa, que incluía o casamento de sua filha com um sobrinho deste. Porém, antes que o acordo fosse concluído, Filipe foi assassinado. A cumplicidade de Oto no assassinato nunca foi confirmada e este veio a se casar em 1212 com a filha mais velha de Filipe (vinte anos mais nova que ele), a qual faleceu três semanas após o casamento.