Il palazzo è stato edificato nel Seicento dalla famiglia Tosetti, dinastia di capomastri e ingegneri attivi nel ducato sabaudo, allora tra i principali possidenti di Castagnola. Alla famiglia Riva, che lo acquistò nel 1751 e lo tenne fino al 1904, si deve la costruzione dell’ala est, sorta al posto di un oratorio settecentesco dedicato al SS. Crocifisso (1732). All’inizio del Novecento l’edificio accolse lo Schlosshotel Riviera (1909) e successivamente fu adibito a casa comunale di Castagnola (1942). Ristrutturato nel 1990 dall’architetto Edy Borradori, dal 2019 ospita l’Archivio storico della Città di Lugano e il piccolo museo dedicato agli esuli lettoni Rainis e Aspazija.