Swoją pierwszą parę dżinsów Levi's i trampek Converse kupił w wieku 13 lat, aby zostać gwiazdą rocka – przyznał Tommy Hilfiger w najnowszych wywiadzie, jakiego udzielił dziennikowi "The Times". W wymarzonych, bardzo dopasowanych spodniach chodził tylko poza domem, bo były one czymś nie do zaakceptowania dla jego konserwatywnych rodziców, którzy postrzegali je jako element wizerunku buntowników.

Nie do zaakceptowania okazały się także jego możliwości wokalne. Przyszły projektant bardzo szybko zrozumiał, że nie ma słuchu i jedynie poprzez modę może upodobnić się do swoich idoli z estrady. Wpatrzony był przede wszystkim w ikony brytyjskiej muzyki – The Rolling Stones, The Beatles i Led Zeppelin.

W wieku 20 lat, za oszczędności zgromadzone dzięki pracy na stacji benzynowej, założył swój pierwszy sklep. W rodzinnym mieście Elmira pod Nowym Jorkiem sprzedawał fikuśnie ubrania, które trafiały w gust hippisów i wielbicieli rocka. Wkrótce stworzył sieć placówek pod szyldem People’s Place i zaczął projektować własne ubrania, bo te, które znajdował w hurtowniach nie do końca spełniały jego oczekiwania.

Wśród jego klientów były wschodzące wówczas gwiazdy muzyki, jak Bruce Springsteen i członkowie AC/DC. Jednak nieznajomość biznesowych realiów sprawiła, że w 1975 Hilfiger musiał ogłosić bankructwo. Kolejne lata poświęcił na studiowanie ekonomicznych aspektów mody i pracę dla innych firm. W końcu w 1985 r. założył markę Tommy Hilfiger, która po latach uczyniła go miliarderem.