Antes de que se fundase la ciudad de Vitoria, ya figura Armentia en el año 1135, como sede de una Colegiata, hasta que en el año 1498 se trasladase esa colegiata a la parroquia de Santa María.

Se construyó el pórtico y se colocaron ahí todos los elementos románicos del templo anterior.

La Casa del Santo se la encargó el Obispo de La Habana, Juan José Díaz de Espada en 1806 a Olaguíbel, en el solar donde estaba la casa natal del santo. Muy cerca, se encuentra el monumento en el inicio del paseo que lleva su nombre. Es obra de Juan Marín y José López Goikolea, realizada con piedra de Opacua y mide 2,06 metros. Se da la curiosidad que no es la original. Porque se le encargó a Isaac Díaz y desapareció por sorpresa y nunca más se ha sabido de su paradero.