Rovaiolo ha una storia curiosa. Il paese infatti è diviso in due: Rovaiolo Nuovo e Rovaiolo Vecchio. Quest'ultimo oggi è un paese abbandonato costituito da un gruzzolo di case, realizzate in pietra e con i tipici tetti neri che venivano costruiti in epoca passata. Dopo la Seconda Guerra Mondiale Rovaiolo Vecchio venne fatto evaquare in quanto si riteneva che l'erosione prodotta dal torrente Avagnone potesse far franare il paese. Gli abitanti furono fatti sfollare e costituirono il loro nuovo paese Rovaiolo nuovo. Da allora ad oggi il tempo ne è passato, ma Rovaiolo Vecchio seppur disabitato, non solo non è franato, ma continua a mantenere il fascino di un tempo con i suoi terreni coltivati a patate ma chiamato Paese Fantasma.