Il est né le 20 juin 1954 à Chicago en Illinois. C'est cependant à Pasadena en Californie que Michael Anthony fit la connaissance des frères Edward et Alex Van Halen, respectivement guitariste et batteur, de même qu'avec le chanteur David Lee Roth avec qui il fonda le groupe Van Halen au milieu des années 1970. Michael Anthony se fit remarquer non seulement par son jeu de basse efficace qui complète bien la virtuosité d'Edward Van Halen à la guitare, mais aussi en sa qualité de choriste. Son jeu de basse se compare à celui d'un Cliff Williams (AC/DC) et se distingue par un son très lourd et souvent rapide qui met l'accent sur les toniques.

En 2004, une tournée nord-américaine réunissant Sammy Hagar, Edward Van Halen, Alex Van Halen et Michael Anthony connut un succès mitigé, les problèmes d'alcools d'Edward se répercutant de façon malheureuse sur la qualité de nombreux spectacles. Cette tournée mit à nouveau de l'avant les tensions légendaires au sein du groupe opposant d'un côté Edward Van Halen au tandem Sammy Hagar et Michael Anthony. Ce dernier avait d'ailleurs à toutes fins pratiques été exclu de l'enregistrement des trois nouvelles chansons figurant sur la compilation The Best of Both Worlds paru dans la foulée de la tournée en juillet 2004. En 2006, Edward Van Halen annonça le remplacement de Michael Anthony par Wolfgang Van Halen, le fils d'Edward âgé de seulement 15 ans, le temps d'une tournée réunion annoncée avec le chanteur original David Lee Roth, tournée prévue pour l'automne 2007.

En mars 2007, Michael Anthony a été intronisé au prestigieux «Rock and Roll Hall of Fame»