Friedrich Ludwig Imhoof-Hotze wurde am 11. August 1807 im Haus zur Gans an der Obergasse 17 geboren. Dort führten seine Eltern ein Spezereigeschäft. Seine Kindheit fiel in die Zeit kurz nach dem Zerfall der Helvetischen Republik. Ab 1812 besuchte Imhoof eine Privatschule bei Fräulein Sulzberger, die ihm das Lesen und Schreiben beibrachte. Dies offenbar so erfolgreich, dass Friedrich Imhoof das erste Schuljahr überspringen und gleich in die zweite Klasse eintreten konnte. Dort herrschte unter dem Lehrer Stoll ein strengeres Regiment. Dieser schreckte nicht davor zurück, seine Schüler mit einem Ochsenschwanz zu züchtigen.
Friedrich Imhoof versuchte, sich dem Schulunterricht durch falsche Behauptungen zu entziehen. Diese Posse wurde jedoch bald entlarvt. Auch in der oberen Abteilung der Schule herrschten strenge Regeln. Ein gutes Verhältnis hatte er hingegen zum Pfarrer Johannes Hanhart und dem damaligen Schulrektor Johann Conrad Troll. Sein Lieblingslehrer war jedoch Johann Jakob Sulzer, bei dem er Geometrie und Zeichnen hatte. Im Alter von 15 Jahren wohnte Imhoof zeitweise bei einem Pfarrer in Vevey, um dort Französisch zu lernen. Neben Französisch und Italienisch wurde er dort auch in der Malerei unterrichtet, was ihm sehr gut entsprach.
1823 kehrte er nach Winterthur zurück und begann eine Lehre als Kaufmann im familieneigenen Spezereiladen. Gleichzeitig war sein Vater gemeinsam mit Gottlieb Andreas Hirzel unter dem Firmennamen Imhoof, Hirzel & Co. im Baumwollhandel tätig. Dieser Geschäftszweig interessierte den jungen Friedrich Imhoof sehr, und so liess sich Hirzel schliesslich dazu überreden, ihn als Lehrling aufzunehmen.