Trobem la Casa del Portal d’Avall documentada des del segle XIV. La denominació més antiga que es coneix de la casa és ca Rabassa, nom que ha perviscut des d’antic fins a finals del segle XIX. La casa està situada al carrer Major, cantonada amb el carrer dels Ollers, on van viure i treballar els terrissaires fins ben entrat el segle XIX. A l’època medieval, la casa va ser construïda aprofitant el mur de la part sud de la muralla que envoltava la vila i al costat del Portal d’Avall, una de les principals portes d’accés al recinte emmurallat del centre històric de la Selva. Els orígens del primer perímetre emmurallat de la vila es remunten, doncs als segles XII i XIII.
El Portal d’Avall, també conegut com a Portal Jussà, és esmentat en un document de l’any 1340 on es fa referència a una torre situada damunt del Portal. Més endavant, a partir de l’any 1373, es documenta la construcció de cases a l’entorn d’aquest Portal, fet que evidencia el desenvolupament urbanístic d’aquesta zona i, probablement, és en aquesta època que es construeix la casa. Com la resta de Portals, el Portal d’Avall tancava portes per protegir la vila davant les amenaces bèl·liques de cada època. Finalment, entre el 1854 i 1856, consta que el Portal fou enderrocat.
A inicis del XX i fins ben entrats els anys setanta, els baixos de la casa van acollir un bar, conegut popularment com a bar de la Rata. Situat en un punt tan cèntric del poble, aquest espai va ser durant dècades un lloc de trobada molt present a la memòria de diverses generacions de selvatans. A la dècada de 1950, la casa va ser totalment reformada amb la construcció de la tribuna, element que, avui, dona singularitat a la casa. Arribats al segle XXI, la casa inicia una nova etapa com a edifici que acull apartaments turístics.
Així doncs, la Casa del Portal d’Avall constitueix un testimoni de l’evolució urbanística de la Selva, la seva ubicació privilegiada l’ha convertit en un testimoni directe de la transformació de la Selva i de la vida dels seus habitants. Al llarg dels segles, la casa ha viscut diverses reformes i transformacions, adaptant-se a les necessitats de cada època fins arribar a l’estat actual. Tot i aquests canvis, encara conserva el vincle amb el passat i amb l’espai urbà que l’envolta.
Allotjar-se aquí és, per tant, molt més que trobar un lloc on dormir: és entrar en una casa que ha vist passar el temps, situada en un dels espais amb més memòria del poble, i continuar, encara que sigui per uns dies, una història que va començar fa més de set segles.