Fils de Jean Rameau, organiste de la cathédrale de Dijon, Jean-Philippe part en Italie avant de devenir organiste dans différentes villes françaises parmi lesquelles Avignon et Clermont-Ferrand. Il monte à Paris et publie son premier livre de clavecin en 1706. Le succès n'est pas au rendez-vous. Il retourne à Dijon et prend la succession de son père décédé, de 1708 à 1714. Il revient à Paris en 1722, après un nouveau séjour à Clermont-Ferrand.
Son Traité de l'harmonie, publié en 1722, le fait enfin connaître. Il publie son deuxième Livre de clavecin en 1724, alors qu'il est l'organiste des Jésuites. Il faudra attendre plusieurs années avant que Rameau, considéré comme un théoricien et un pédagogue, devienne véritablement célèbre.