Su nombre procede de que fue realizado para residencia del emperador Carlos, aunque no queda constancia de que nunca llegara a habitar en él. Está situado junto al Palacio nazarí de Comares, y representa una gran contraste con la arquitectura islámica del resto del recinto. Presenta planta cuadrada, con patio circular, fue diseñado por Pedro Machuca. Sorprendente por el año de construcción (1527), muy temprano para sus características que lo encuadran dentro del Manierismo: columnas dóricas en el primer piso, jónicas en el segundo, y friso con cabezas de toro (bucráneos) de tradición grecorromana. En algunos aspectos, repite o anticipa ciertas soluciones arquitectónicas del Manierismo en Italia, lo que se explica por la estancia de Machuca en dicho país y por su habilidad para desarrollar con inventiva propia ciertos rasgos del incipiente estilo manierista. La construcción se vio interrumpida en el siglo XVII, hasta que se completó en el siglo XX.

Su fachada es totalmente renacentista. El primer cuerpo, estilo toscano con almohadillado. El segundo con elementos de decoración del barroco. Sobre la puerta principal, dos estatuas aladas de mujer reclinadas en el frontón. Arriba, 3 medallones enmarcados en mármol verde. En los laterales, escenas de Hércules. Los anillos de hierro de la parte baja son pura decoración. .