Edificio de planta rectangular y tejado a tres aguas. Los muros son de mampostería con esquinales. Los vanos son de sillería. El acceso es a través de una puerta dovelada, con arco apuntado y protegida por el atrio que rodea la Iglesia.
En 1202, contaba Elosua con un castillo de defensa, que posteriormente se otorgó, como todos los habidos en Gipuzkoa, a Alfonso VIII. Aún permanecen las ruinas del castillo. Sus piedras sirvieron para la construcción de la iglesia de San Andrés.