A Teen Mortgage duó Washingtonból (D.C.) származik, és a hardcore zenét és a punk örökséget vallja magáénak. James Guile frontember fokozatosan formálta a csapatot különböző nevek alatt, társadalmi-politikai kommentárokkal teli zenét hozott létre, amelyet erősen befolyásolt a nyolcvanas évek punkja. Miután Marylandbe költözött, felvette Edward Barakauskas dobost.
A Devil Ultrasonic Dream című debütáló album LP-n a Roadrunner Records kiadásában jelent meg. A lemez elkötelezett szövegeket és utalásokat kínál a sátánpánikjára, amely a nyolcvanas években jelen volt a rockzenében. Az album megjelenése előtt a csapat Weezer, OFF! és Smashing Pumpkins társaságában turnézott. A tizenegy dal közül kiemelkedik a Devil Ultrasonic Dream, a Personal Hell és a Lose My Mind.
