Il paese, che anticamente faceva parte dello Stato di Diano, è posto a quota elevata rispetto ai paesi vicini.
Il primo documento che prova l'esistenza del casale è la pergamena conservata presso l'archivio Carrano di Teggiano dalla quale risulta che nel 1293 il conte Tommaso Sanseverino assegnava il suffeudo della Policeta (l'antico paese) al milite Giovanni Pellegrini, residente a Diano. Probabilmente il casale, però, esisteva già nel secolo X insieme alla sua chiesa e, al tempo della descrizione della pergamena, il casale doveva essere già consolidato da tempo. Tale ipotesi è avvalorata anche dal fatto che San Rufo è posto sull'antica direttrice romana che dal Vallo di Diano portava a Paestum. In effetti, ai piedi del paese, sono state scoperte delle testimonianze riferibili ad un pagus romano dipendente da Tegianum (l'odierna Teggiano). Altri studiosi collocano la fondazione del casale alla fine del XIII secolo, in onore del vescovo di Capua Rufo, per opera di Gubello Pellegrino.
A partire dal XIII secolo l'insediamento diviene casale dello stato di Diano e suffeudo dei Pellegrino fino al secolo XVII, passando prima alla famiglia Rinaldi ed infine ai Laviano.
Nei secoli successivi, dopo l'eversione della feudalità, il paese segue le sorti comuni agli altri paesi del Vallo di Diano e alcuni dei suoi cittadini ingrossano le fila dei briganti della zona nella lotta all'opera distratta dei nuovi regnanti Savoia nel Meridione.
Nel Settecento il paese diventa noto per la produzione di strumenti musicali. Di San Rufo è inoltre il famoso studioso Paolo Eterni che ha descritto il Vallo di Diano nel Seicento.