Le site de Florimont a été occupé dès l'époque romaine, vraisemblablement par une tour de guet chargée de surveiller la circulation sur la voie militaire reliant Mandeure dans le Doubs à Augst et Kembs dans le Haut-Rhin. Après la création du comté de Ferrette au xie siècle, fut construit le château féodal et les fortifications du village qui prit très rapidement de l'importance. Au xiiie siècle, le fief, qui couvrait aussi Courcelles, Suarce, Chavanatte, Lepuix-Neuf et en partie Faverois, Grosn1
Voir plusAujourd’hui, du château, il n’en reste que la Tour, veillant sur le village du même nom, en contrebas. Une curieuse légende de Sorcellerie est liée à ses occupant.
En effet, il y a bien longtemps, le Comte de Florimont avait souhaité profité de la cascade de la rivière, la Cavatte, pour construire un moulin, afin de moudre le grain. Il se surpris à entendre l’opposition farouche de la Comtesse, qui ne souhaitait pas voir pareil Moulin sur les bords de la rivière. Le Seigneur ne prit pas compte1