El Alcázar de Colón fue construído entre 1511 y 1514, siguiendo las influencias del existente en Mancera de Abajo, en Salamanca, España, del que aún se conservan ruinas. Se desconoce el nombre del arquitecto que llevó a cabo la edificación de este palacio fortificado. De estilo gótico mudéjar mayormente, el Alcázar tiene también algunas características renacentistas, notable en sus arcadas, así como del estilo isabelino observables en las borlas que lo adornan. El edificio se construyó utilizando mampostería de rocas coralinas.
Fue el primer palacio fortificado construido en la época hispánica. Por él pasaron grandes conquistadores españoles como Hernán Cortés y Pedro de Alvarado.
Es la única residencia conocida de algún miembro de la familia Colón, además de la casa natal de Cristóbal que se encuentra aún en Génova. En el palacio nacieron Juana, Isabel, Luis y Cristóbal Colón de Toledo, hijos de don Diego Colón y su esposa doña María Álvarez de Toledo. Diego Colón murió en España en 1526 pero María Álvarez de Toledo, su viuda, permaneció en él hasta su fallecimiento en 1549. Tres generaciones de la familia Colón de Toledo lo habitaron, posiblemente hasta el año de 1577.
La propiedad del palacio fue objeto de litigio por cerca de dos siglos a partir de ese año. Posiblemente en 1586 el pirata inglés Francis Drake, durante su invasión y a la isla de La Española destruyó o se llevó objetos de valor de la antigua casa de Diego Colón.
