La première mention historique de Lavaur est un acte daté de 1035 qui mentionne l'hommage rendu au vicomte d'Albi par son vassal, le seigneur de Lavaur. Le quartier du Plô, qui occupe l'éperon dominant l'Agout, est le site primitif de l'histoire urbaine de Lavaur. Les premiers seigneurs y édifient un château autour duquel va se greffer un bourg castral. En 1065, un acte de donation des seigneurs de Lavaur permet l'établissement d'une salvetat par les moines de l'abbaye de Conques. Cette fondation, à proximité du bourg castral, associée à celle du prieuré en 1098, contribue à l'essor de la première cité sur le plateau. Après la prise de la ville par les troupes de Simon de Montfort, le 3 mai 1211, la cité seigneuriale passe progressivement à la couronne de France. Le château devient siège de justice et prison royale. Depuis cette date, la ville se développe à l'intérieur d'une enceinte dont le tracé se déplace par étapes vers l'ouest. En 1622, les consuls de la ville font raser les derniers vestiges du château et aménagent le site en esplanade formant terrasse au-dessus de la rivière. Dans la seconde moitié du XVIIIe siècle, les murs d'enceinte partiellement effondrés sont supprimés et les fossés comblés, ce qui permet à la ville de se développer au-delà. Au castrum d'origine, les documents d'archive associent le port en contrebas, bordant la route vers Castres. Très actif, il devient le berceau artisanal de la cité. On distingue un port pour les marchandises, et un port de pêcheurs.
Après 1211, les fortifications du castrum démantelées, Lavaur connaît une forte poussée démographique protégée par une enceinte et un fossé qui suit le tracé de l'actuelle rue Valat-Viel. La place des Consuls se situe au coeur de cet ensemble urbain, on y établit la première maison commune des consuls de Lavaur, représentants élus de la population, dont la liste débute en 1240. Cette phase d'expansion de la ville au XIIIe siècle est marquée par l'urbanisation des zones situées à l'ouest de l'enceinte, prolongeant l'axe de la rue Père-Colin, passage obligé sur la route de Toulouse à Castres. Cet axe qui devient la rue droite du Barry, actuelle Grand-Rue, a dès l'origine une vocation marchande. Le nouveau quartier se structure autour de l'implantation, avant 1235 d'une communauté franciscaine regroupant une église et un monastère. Ce quartier neuf est à son tour clos par un rempart, actuelles Escoussières, lui-même protégé par un profond fossé. La probable destruction du prieuré en 1211 a pour conséquence la construction d'une nouvelle église au milieu du XIIIe siècle. Son implantation est maintenue hors de l'enceinte. En 1318, à la création de l'évêché de Lavaur, elle est élevée au rang de cathédrale. Les évêques jouent désormais un rôle majeur dans le développement de leur siège épiscopal jusqu'en 1793. A leur actif on relève les agrandissements de la cathédrale, la fondation d'institutions de charité, la construction d'un hôpital au XVIIIe siècle et l'initiative d'un prestigieux pont de pierre sur l'Agout. Le palais des évêques est construit sur le flanc nord-est de la cathédrale. Ce palais fortifié, organisé autour d'une cour centrale, est limité à l'ouest par un cloître. Au XVIIe siècle, les évêques acquièrent des terrains hors des remparts et y établissent de vastes jardins.
Le toponyme existe déjà à la fin du XVIIIe siècle: un hameau est figuré au lieu-dit "Soules" sur la carte de Cassini (vers 1770). Le château est représenté sur le plan cadastral napoléonien de 1826. Il appartenait à Jean-Baptiste Lacoste-Bagnères, et se composait de: deux maisons avec cours, reliées par un bâtiment, une grande allée d'agrément et un pigeonnier tour cylindrique retiré vers l'est. Le registre des augmentations-diminutions indique une "nouvelle construction" sur la parcelle 916 en 1843, ce qui donne la date du réaménagement du château au milieu du XIXe siècle. Château de plan massé avec deux tours carrés à toits pyramidaux aux angles de la façade occidentale. Façade principale ordonnancée à cinq travées avec des fenêtres à arcs segmentaires. (1)