Warja (Barbara Esther) Lavater kam 1913 als Tochter der Schriftstellerin Mary Lavater-Sloman (1891–1980) und deren Ehemann, des Ingenieurs Emil Lavater (1882–1962) zur Welt. Ihr Vater arbeitete ab 1913 zunächst im Ausland für die Firma Sulzer. Warja verbrachte deshalb ihre ersten vier Lebensjahre mit ihren Eltern in Moskau, wo 1915 ihr Bruder Hans zur Welt kam. Der Name «Warja» ist eine russische Koseform für «Barbara» und stammt von ihrem Kindermädchen. Nach den Revolutionen von 1917 musste die Familie aus Russland ausreisen. Nach Aufenthalten in Hamburg und Winterthur lebten sie von 1919–1921 in Athen, bevor sie sich 1922 wieder in Winterthur niederliessen, wo Emil Lavater bis zur Pensionierung zum Direktor und Personalchef bei Sulzer aufstieg.
Zurück in der Schweiz hatte Warja wegen ihrer geringen Vorkenntnisse Schwierigkeiten in den Fächern Mathematik und Schreiben. Trotzdem besuchte sie das Gymnasium, das sie jedoch vor dem Abschluss verliess, weil sie 1931 die Aufnahmeprüfung an die Kunstgewerbeschule Zürich schaffte. Von 1932 bis 1935 studierte sie in der Grafikklasse von Erich Keller.