Charles Brown wurde 1827 in Uxbridge, nahe London, geboren. Er wuchs im damals von der Fabrikindustrie geprägten Woolwich auf. Von 1845 bis 1851 arbeitete er für die Firma Maudslay, Sons and Field, wo er sich mit dem Bau von Dampfmaschinen beschäftigte. Diese Firma war eine der fortschrittlichsten Maschinenfabriken weltweit. Dort lernte er Gottlieb Hirzel kennen, den Schwager von Johann Jakob Sulzer-Hirzel. Letzterer suchte für seine geplante Maschinenfabrik einen Konstrukteur und wollte seinen Schwager zurück nach Winterthur holen. Dieser lehnte jedoch ab, empfahl ihm aber Charles Brown.