Baggrunden for historien om Vallø Slot, som vi ser det i dag, skal søges i midten af 1500-tallet, hvor Slottets ejer hed Mette Rosenkrantz.
Hun havde i 1553 arvet den vestlige del af Vallø gods og Slot, og hun besluttede nogle år senere at opføre en ny sydfløj på Slottet.
Dette arbejde påbegyndtes formentlig i 1570erne og resulterede i den fløj med de 2 tårne, som vi ser det i dag.
Arbejdet blev afsluttet i 1586, hvilket fremgår af teksten på den store sandstenstavle, der er placeret over porten inde i Slotsgården. Bygningen havde dog ikke helt samme udseende som nu, idet tårnene var dækket af en lav tagkonstruktion.