Il tient vraisemblablement son nom de l’époque gallo-romaine comme lieu d’exercice et d’amusements publics pour la jeunesse des environs et les légions cantonnées au Beuvray. Il y existait une villa romaine où furent découverts de nombreux objets antiques. En 1770, on trouva un vase plein de médailles de Gordien et de Posthume, et d’autres médailles parmi lesquelles celle de Tetricus, chef des Bagaudes. Ceci prouverait que ces barbares, qui ruinèrent Autun vers l’an 270, n’épargnèrent pas les environs du Beuvray.
Le Jeu des chaises musicales
Au XIIIe siècle, cette terre appartenait à une noble famille du nom de Jeu puis en 1372 à celle de Baugis avant de connaître d’autres propriétaires.
La terre du Jeu, seigneurie en toute justice, mouvante de la châtellenie de Glenne, appartenait en 1553, à Philippe de Vichy, et en 1619 à Jean de Fradel, écuyer. Nicolas de Sercey en jouissait en 1650, et Antoine de Saucy comte d’Arconcey, en 1705.
D’après un terrier de 1575, « la maison forte présentait un aspect formidable. Outre les fossés ordinaires, on y voyait une ceinture de hautes murailles garnies de petites tours rondes, renfermant le château et ses dépendances, entre autres un colombier en pied et une écurie pour 20 chevaux. » Une prison « fermée d’une double porte en fer » se trouvait dans l’une des tours de façade.
En 1726 Jean-Jacques de Sercey, comte du Jeu rénova le château et fit disparaître l’ancienne enceinte de tours et murailles. En 1786, Joseph de Mollerat, écuyer, est seigneur du Jeu.
