Jusqu’à la fin du 16ème siècle, Latour était une coseigneurie où les copropriétaires percevaient des loyers des fermiers. À cette époque, la vigne ne couvrait pas tout le domaine, et la production, bien que suffisante, était rapidement consommée en raison des conditions de conservation rudimentaires. Ce n'est qu'à la fin du 17ème siècle que le domaine passe d'un système de fermage à une exploitation directe.
L’acquisition de Château Latour par Alexandre de Ségur au début du 18ème siècle marque un tournant décisif dans l’histoire du domaine. Enrichi par des héritages et mariages, ce dernier consolide un vaste ensemble de domaines dans le Médoc, dont Latour devient un fleuron. Juste avant sa mort en 1716, il acquiert le domaine de Lafite. Son fils, Nicolas-Alexandre de Ségur, surnommé par Louis XV le « Prince des Vignes », poursuit son œuvre en agrandissant encore les domaines, notamment avec les terres de Mouton et Calon en 1718. Sous la direction des Ségur, Château Latour bâtit ainsi sa réputation de Grand Vin, qui ne cesse de croître au fil des siècles.
Au début du 18ème siècle, le commerce des vins de Bordeaux prospère. L'aristocratie et la bourgeoisie anglaises stimulent la demande. L'exportation, jusque-là freinée par les conflits, connaît un essor significatif. Les domaines du Médoc, dont Latour, attirent de plus en plus l'attention. En 1714, le tonneau de Latour vaut déjà quatre à cinq fois plus qu’un tonneau de vin courant. Ce rapport s'accroît encore, atteignant en 1767 un prix vingt fois supérieur à celui d'un vin ordinaire. Cette prospérité permet à Château Latour de se spécialiser dans son activité viticole. Le domaine s'étend progressivement, passant de 38 hectares en 1759 à 47 hectares en 1794.
Malgré les turbulences de la Révolution française, Château Latour conserve son intégrité et reste dans la même famille. En 1842, une Société Civile regroupant exclusivement les héritiers de la famille de Ségur est formée, permettant au domaine de traverser le 19ème siècle en conservant son statut de Grand Cru, consacré lors de la classification de 1855, qui place Château Latour parmi les cinq premiers Grands Crus du Médoc, aux côtés de Lafite-Rothschild, Margaux, Haut-Brion, et, plus tard, Mouton-Rothschild.
Au fil des décennies, le nombre croissant de copropriétaires conduit à la vente de parts du domaine. En 1962, le Groupe Pearson devient actionnaire majoritaire, suivi par Harveys of Bristol, puis par Allied Lyons. En 1989, Allied Lyons rachète la participation de Pearson, détenant alors 93% des parts, les 7% restants appartenant encore aux descendants de la famille de Ségur.