Antiguamente era conocido como Château de Gasq, nombre de su propietario, que dio a conocer sus vinos en el palacio de Richelieu y más tarde en la corte de Luis XV. Hay escritos de 1760 en los que ya se menciona la existencia del château y la calidad de sus vinos.
En 1814 lo compra el militar inglés Charles Palmer. Se dice que cuando regresaba de España conoció a la Señora de Gasq, que viajaba en la misma diligencia, y por una modesta cantidad de dinero consiguió que le vendiese la finca. Entre 1816 y 1831 compra numerosas parcelas y consigue reunir 163 hectáreas de las que 82 eran de viñas. Charles Palmer vivía en Londres, donde introdujo su vino en la corte y en los mejores sitios y gastó dinero a espuertas. Mientras tanto sus administradores en Burdeos no destacaban ni por su eficiencia ni por su honradez.

En 1843, totalmente arruinado, se ve obligado a vender, y se queda con él la Caja Hipotecaria de París, que era el principal acreedor. Diez años más tarde lo compran los hermanos Isaac y Emile Péreire importantes banqueros, cuya rivalidad con los Rothschild era pública. Son ellos quienes, en 1856, encargan al arquitecto bordelés Burguet la construcción del actual château, que enmarcado en un llamativo dorado preside las etiquetas de Palmer. En 1930 la familia Péreire vende a un grupo de negociantes entre los que están los Sichel y los Máhler-Besse, cuyos descendientes son en la actualidad los propietarios.
Las 45 hectáreas de viñedo se benefician de un "terroir" excepcional, lleno de gravas, las llamadas "gravas garonesas". Situadas en las laderas de Margaux y Cantenac, la pendiente facilita la eliminación del agua.

En un caso no demasiado habitual en el Médoc, Palmer tiene un 47% de Merlot, un 47% de Cabernet Sauvignon y un 6% de Petit Verdot. Pero en algunas añadas la cantidad de Merlot se acerca al 60%. Cada parcela se vinifica por separado en uno de los depósitos de la bodega y la maceración dura unos 20 días. La crianza se realiza en barricas de roble, con un 35% de barricas nuevas.