El núcleo central de la colección del Museo es un gimnasio del siglo XIX, formado por José María Martínez en 1890, en Segovia, usado para preparar a los aspirantes al ingreso en la Academia de Artillería de Segovia. Otra parte importante de los fondos está constituida por juegos populares españoles y material deportivo de los siglos XIX y XX. Junto a objetos relacionados con el ejercicio físico, el Museo cuenta, también con una colección de libros y folletos y un archivo audiovisual que tiene como objetivo documentar, investigar, reconstruir y divulgar el pasado y presente de la actividad deportiva.