Tras la conquista islámica, en el año 804 el obispo Juan llega a Valpuesta, encuentra las ruinas de un templo, edifica allí un Santuario dedicado a la Virgen y crea la diócesis.

Y allí se documentaron los Cartularios de Valpuesta, primeros textos en castellano y en euskera. Y ahí ya aparece el pueblo de Gaubea, como núcleo importante en la calzada que llevaba a Peniella.

Paseando por sus calles, podemos atravesar el barrio de las cagolitas, donde podemos ver la casa de los Angulo, con su precioso escudo y una placa que recuerda el paso de Carlos V en el año 1837. Completan el conjunto de casas nobles otras dos, una del siglo XVII y otra del siglo XIX.

También podemos ir al barrio de la paja, nombre debido a la abundancia de casas de labranza con sus eras para la trilla. Para llegar a este barrio, es necesario atravesar el puente sobre el río Omecillo. Muy cerca, veremos un molino y la famosa Sebe, la única presa de madera existente en Euskadi, desde el año 1781, declarada Bien Cultural en el 2011.

La iglesia está dedicada a San Julián y Santa Basilisa, lo que hace que este pueblo sea de los más madrugadores en celebrar sus fiestas, ya que se celebran el 7 de enero. Es un templo románico, del siglo XIII, aunque restaurado en el siglo XIX.