En 1993, il est nommé ministre de l'Éducation nationale dans le gouvernement de cohabitation d'Édouard Balladur. Il propose une réforme de la loi Falloux, qui aurait déplafonné la possibilité, pour les collectivités locales, de subventionner les investissements des établissements d’enseignement privé. Le 24 janvier 1994, près d'un million de manifestants s'en prennent à ce projet, pour défendre l'école laïque. La méthode de François Bayrou est alors critiquée à droite comme à gauche : il est accusé de vouloir « réformer à la hussarde »[3]. Finalement, le Conseil Constitutionnel rejette le projet de François Bayrou.
Bien qu'il ait soutenu Édouard Balladur lors de l'élection présidentielle française de 1995, et qu'il se soit opposé au projet de référendum sur l'éducation proposé par le candidat Jacques Chirac, il obtient dans le premier gouvernement d'Alain Juppé un portefeuille élargi à l'enseignement supérieur, à la recherche et à la formation professionnelle.
François Bayrou dirige une réflexion approfondie sur la condition des professeurs et des élèves qui inspire les documentaires de la réalisatrice Marie-Françoise Desmeuzes. Il conduit une réforme du collège, réforme les études supérieures (semestrialisation des études, semestre d'orientation en première année, création d’université de professionnalisation technologique), met en place le baccalauréat actuel (filières S, ES, L, STT, STL et STI), introduit les langues vivantes à l’école primaire.
François Bayrou perd la responsabilité de la Formation professionnelle dans le deuxième gouvernement Juppé, mais reste à l'Éducation nationale jusqu'à la dissolution de 1997; l'élection est remportée par la gauche plurielle.
L'opinion retient, de la présence de François Bayrou à ce ministère, sa méthode de réforme prudente et concertée avec les organisations syndicales (ce que critiqueront, puis approuveront [4] Claude Allègre et Jack Lang)[réf. nécessaire]. Roger Fauroux, qu'il avait chargé de présider une commission sur la réforme de l'école était néanmoins critique, déclarant que François Bayrou gouvernait « avec le sondoscope en bandoulière »[5].