Les premiers groupes d’Alex (toujours accompagné de son frère) sont The Broken Combs (qui joue des concerts pendant la pause de midi à l’école et dans lequel Alex joue du saxophone), The Trojan Rubber Company, Genesis, et The Space Brothers. À cette époque, ses influences musicales principales sont Buddy Rich, Keith Moon, John Bonham et Ginger Baker.

En 1972, ils forment le groupe Mammoth' où Alex joue de la batterie, Eddie de la guitare et Mark Stone de la basse. En 1974, la composition du groupe change, Stone est remplacé par Michael Anthony et David Lee Roth est engagé comme chanteur. Pour des raisons de conflit avec un autre groupe, Mammoth change son nom en Van Halen.

Le groupe commence à jouer dans des bars et des clubs du Sud de la Californie et devient rapidement apprécié. En plus de son rôle de musicien, Alex est également le manager et le trésorier du groupe.

Le style d’Alex ainsi que sa voix sont unique et facilement reconnaissables. Il a reçu un nombre impressionnant de récompenses et de prix et est reconnu par ses pairs comme l’un des plus éminents percussionniste du rock.