Nasce come palazzo dei de Noha, antica e nobile famiglia, le cui prime notizie risalgono al sec. XIII. Estinta la famiglia, il palazzo passò in proprietà dei Palombi, all'estinguersi dei quali della famiglia Carelli che aggiunse al proprio il cognome Palombi e ne inquartò le Armi. La famiglia Carelli, originaria di Napoli, fu ritenuta nobile nel sec. XVIII, poiché Francesco Saverio Carrelli era stato ammesso nel Reggimento Reale Napoletano.
Il palazzo, costruito su una struttura preesistente seicentesca, ha una facciata che risale a metà Settecento e che è ascrivibile all’architetto Emanuele Manieri.
Dopo l'androne, prima di entrare in un ampio giardino, si nota un lungo balcone sorretto da mensole seicentesche, riccamente ornate.