La rue de Lorraine a été créée à la fin du XIXe siècle, peu de temps après l’ouverture de la rue Proudhon. Les immeubles qui la bordent seraient l’œuvre d’un seul architecte : Gustave Vieille. Ce dernier a fait construire son lieu d’habitation dans cette rue, au n°4.

Le premier étage est doté d’un bow-window. Sorte de balcon fermé très utilisé dans l’architecture anglaise, ce système qui permettait d’agrandir et de mieux éclairer les pièces, voit ici sa première utilisation au centre-ville de Besançon. Outre un décor abondant qui ornent les baies, deux amas d’objets se rapportent à certains aspects de la vie du maître de maison. Celui de droite, avec des instruments de musique et un masque de théâtre, rappelle qu’il a été, en 1865, l’un des fondateurs d’un cercle, « L’harmonie nautique », chargé d’organiser à Besançon des fêtes de charité, musicales, sportives et artistiques. L’autre évoque son métier d’architecte. Outre un chapiteau et des outils, remarquez sur un parchemin le dessin gravé représentant le plan des immeubles bâtis par Vieille de l’autre côté de la rue.