El 18 de octubre de 1331, Gaucelme de Castillon obtuvo la autorización para construir una fortaleza en Saint-Mambert que defendiese el estuario durante la guerra de los l00 años.
Así nace la Tour de Saint-Mambert, a quien debe el nombre el château. Desgraciadamente, de esa torre no queda nada y la que se ve actualmente entre los viñedos es en realidad un palomar, construido entre 1620 y 1630, con piedras de la antigua fortaleza.
Hasta finales del siglo XVI era propiedad de dos familias que recibían el alquiler de los colonos que trabajaban la tierra. La familia Multet va haciéndose única propietaria, se instala allí y la explota directamente. La propiedad llega a la familia Ségur, mediante bodas, compras y herencias, en 1695. Es a partir de la llegada de Nicolas-Alexandre de Ségur, propietario también de Lafite, Mouton y Calon, cuando empieza a desarrollarse todo el potencial vinícola de la finca. El actual château se construye entre 1862 y 1864.

La propiedad quedó exclusivamente en manos de los descendientes de los Segur hasta 1963, pero ese año venden el 75% de las acciones a las sociedades inglesas Harvey of Bristol y Hallminster Limited, haciéndose esta última con más del 50%. En 1989 el grupo Allied Lyons compra el 93% de las acciones, siendo el resto de los antiguos propietarios. En julio de 1993 compra su parte François Pinault, por una cifra que supera los 105 millones de euros.
El corazón del viñedo, situado en una loma que domina el estuario de la Lironda, se conoce como el Enclos y está constituido por 47 hectáreas de viñas viejas. Es un suelo de grandes gravas del tamaño de un huevo, con casi un metro de profundidad, que obliga a las raíces a profundizar en busca de su alimento, en ocasiones más de 3 metros. El primer vino se elabora únicamente con uvas de esta zona. El Cabernet Sauvignon es claramente mayoritario, con un 75%. Se complementa con un 20% de Merlot, un 4% de Cabernet Franc y un 1% de Petit Verdot.
Cada parcela fermenta por separado, según el tipo de suelo, edad del viñedo y variedad de uva. El encubado dura unas tres semanas. La crianza se realiza en roble francés totalmente nuevo y dura unos 18 meses. Durante los 6 primeros meses las barricas no están cerradas herméticamente y la evaporación natural y la absorción de vino por la madera hacen que haya que reajustar el nivel de cada barrica dos veces por semana.

Les Forts de Latour se elabora con las cepas del Enclos de menos de 12 años y con las uvas de las 18 hectáreas, situadas en las tres parcelas exteriores. En 1973 se hace un tercer vino, Le Pauillac, que en principio sólo se elabora ese año, 1974 y 1987. Pero desde 1990 el compromiso de mejora de la calidad de Les Forts hace que se elabore este tercer vino ya todos los años.