Se estima que esta Casa-Palacio vio nacer en 1518 a todo un explorador de lo ignoto, Ñuflo de Chaves, insigne aventurero que llevó la impronta de su Santa Cruz natal allende los mares, llegando a fundar la Santa Cruz de la Sierra boliviana (no la actual ciudad, sino lo que hoy es un yacimiento arqueológico denominado Santa Cruz la Vieja, en el término de San José de Chiquitos).
Esta casa sería reconstruida posteriormente por la familia Hinojosa Torres (en 1563), gracias a la aportación económica de Pedro Alonso de Hinojosa (que ocupó el cargo de General en las Indias, donde murió en 1553) y al trabajo de Juan de Hinojosa, que al recibir la herencia de su hermano rehabilitó esta casa en 1563, colocando el escudo nobiliario que aún podemos ver en su fachada.
Ese escudo de los Hinojosa-Torres (partido con los emblemas de los Hinojosa (un ramo de hinojo) y los Torres (5 torres almenadas) corona el arco de la fachada principal (en la calle José Zorrilla),
Posteriormente esta Casa-Palacio pasó a propiedad de Juan de Chaves, el noble que compró el pueblo a Felipe IV en 1627, quien al casarse con Mª Paulina Hinojosa (nieta de Juan de Hinojosa) fijó ahí su residencia familiar. De ese matrimonio nació Baltasar de Chaves, que fue el 1º Conde de Santa Cruz de la Sierra (Título otorgado por Felipe IV el 4 de Diciembre de 1635). De ahí que el nombre de esta casa se haya perpetuado con el apelativo de Casa del Conde.
La fachada de este palacio nos ofrece una simbología muy interesante: en una de sus ventanas superiores una cabeza de indio con cuchillo, quizás un guiño a la denuncia de las prácticas que algunos europeos llevaban a cabo de forma improcedente en el Nuevo Mundo.
También el famoso cristograma IHS y el anagrama mariano AVM aparecen en su parte inferior, elementos de una gran carga simbólica desde el punto de vista no solo religioso sino también alquímico y esotérico; y sin olvidar la decoración vegetal sobre piedra que vemos en sus ventanas y que alude al culto de la fertilidad para la perpetuación del noble linaje y de los insignes apellidos de sus moradores.
También merece la pena destacar detalles (flores de lis, ramas de olivo…) referentes a su connivencia con las prácticas de la Santa Inquisición en su defensa de las buenas prácticas del catolicismo y en aras de la pureza de sangre ante una población judeoconversa cada vez más relevante, aunque, eso sí, decantándose por las formas menos drásticas en la búsqueda de esos objetivos (como lo atestiguan la crítica a la violencia con los indios, así como la presencia de la rama de olivo, excluyéndose la espada, en su alusión al emblema de la Santa Inquisición, que compartía espada y olivo, dureza y perdón a partes iguales).
