Valløs historie er velbeskrevet allerede fra 1300-tallet.
I 1708 købte Frederik IV Vallø og skænkede det til sin gemalinde til venstre hånd, den senere dronning Anna Sophie Reventlow. Efter kongens død i 1730 blev Anna Sophie Reventlow forvist til Clausholm, og den nye konge, Christian VI, overdrog Vallø Gods til sin dronning Sophie Magdalene.