A Teen Mortgage duó Washingtonból, D.C.-ből származik, és a hardcore zene, valamint a punk örökségét vallja magáénak. James Guile frontember fokozatosan formálta a csapatot különböző nevek alatt, társadalmi-politikai kommentárokban gazdag zenét alkotva, amelyet erősen befolyásolt a nyolcvanas évek punkja. Amikor Marylandbe költözött, Edward Barakauskas dobost vette maga mellé.
A debütáló Devil Ultrasonic Dream album a Roadrunner Records kiadó gondozásában jelent meg. A lemez elkötelezett szövegeket és utalásokat tartalmaz a szatanista pánikra, amely a nyolcvanas években a rockzenében jelen volt. Az album megjelenése előtt a duó turnézott a Weezer, az OFF! és a Smashing Pumpkins társaságában, valamint több kislemezt és EP-t is kiadott. Az albumon olyan dalok hallhatók, mint a Ride, a Possessed vagy a Personal Hell.
