En la época de su construcción era la residencia más grande de Florencia y también la más suntuosa. Luca Pitti era rival de la familia Medici y quería que su casa fuera superior a la de ellos.

La familia Pitti se instaló en el palacio en 1469, pero sólo 3 años después murió Luca Pitti. Posteriormente, la fortuna de la familia Pitti decayó y en 1550 el palacio fue comprado por Eleonora di Toledo, esposa de Cosme de’ Medici; El Palacio se convirtió así en la residencia principal de los Medici y en 1560 el arquitecto Ammannati inició su ampliación insertando un imponente patio de tres plantas.

En 1565 Giorgio Vasari construyó un corredor (el «Corredor Vasari» que cruzaba el Ponte Vecchio para conectar el Palacio Pitti con los Uffizi, en la otra orilla del Arno.

La mayor parte de la decoración interior actual, de suntuoso estilo barroco, fue realizada en los siglos XVII y XVIII, en particular por el gran pintor y arquitecto Pietro da Cortona, autor también de algunos frescos que decoran los techos. En 1737 terminó el poder de los Medici sobre Florencia; Anna María Luisa de’ Medici, sin embargo, obtuvo que toda la colección de arte de los Medici siguiera siendo propiedad de la ciudad de Florencia. Esto marcó la primera transformación de los Uffizi y el Palazzo Pitti en un museo. El Palacio Pitti se abrió oficialmente al público como museo en 1833.

El arte expuesto en el Palazzo Pitti está centrado en los siglos XVI y XVIII; la mayoría de las magníficas decoraciones interiores también reflejan el mismo tipo de gusto, mientras que el exterior pertenece en su mayor parte a una época anterior. El Palacio Pitti consta de varios museos alojados bajo el mismo techo.

La pinacoteca principal, repleta de 500 cuadros, se conoce oficialmente como Galería Palatina y los artistas más representados son Sandro Botticelli, Raffaello Sanzio, Rubens, Tintoretto, Tiziano, etc. . La Galería de Arte Moderno alberga pintores italianos (en su mayoría toscanos) del siglo XVIII al XX, mientras que el Museo de la Plata tiene una maravillosa colección de objetos preciosos. También hay un museo de disfraces que merece una visita.