Après avoir été batteur d'Ozzy Osbourne, puis de Y&T, il rejoint en 1992 le groupe Suicidal Tendencies, qu'il quittera en 1995, année durant laquelle il intègre le projet parallèle de Dave Mustaine (chanteur et guitariste de Megadeth) : MD.45.
Il a également joué avec Alice Cooper de 1993 à 1998.
En 1998, il est recontacté par Mustaine pour rejoindre Megadeth, suite à la blessure de Nick Menza. Jimmy DeGrasso a alors 5 jours pour apprendre toutes les chansons qu'il va devoir jouer pour le prochain concert, ce qu'il arrivera à faire en écoutant sans interruption les titres du groupe dans son walkman. Il participera à deux albums : Risk et The World Needs A Hero jusqu'à la séparation du groupe en 2002. Il a depuis participé à une tournée de Stone Sour (le groupe de Corey Taylor).
Jimmy DeGrasso a par ailleurs été le batteur de White Lion et d'autres artistes en tant que musicien de session.
Il est également propriétaire du magasin de batterie San Jose Pro drum shop, basé à San josé (Californie), ville où il réside.
En 2007, il rejoint le groupe de metal industriel Ministry pour participer à leur tournée d'adieu 1, et devient batteur à temps complet de F5, le groupe créé par David Ellefson après son éviction de Megadeth.