Anton Graff kam am 18. November 1736 in Winterthur am Untertor 8 zur Welt. Das Malerhandwerk lernte er in Winterthur an der Zeichenschule von Johann Ulrich Schellenberg und später in Augsburg. Bereits in den ersten Lehrjahren entstanden Porträtbilder, und im Verlauf seiner Karriere wurde er zum besten Porträtmaler im deutschsprachigen Raum. Nach der Lehrzeit in Augsburg kehrte Graff in die Schweiz zurück und lebte einige Zeit in Zürich. Dort erhielt er die Anfrage, nach Dresden zu reisen, um an der Dresdner Kunstakademie Hofmaler und Lehrer zu werden. Dieses Angebot nahm Graff an. Ab 1766 war er Hofmaler in Dresden und blieb es bis zu seinem Tod. Seine vielen Reisen führten ihn nach Winterthur, Zürich, Karlsbad, Teplitz, Berlin und viele Male nach Leipzig. Gerade diese Reisefreiheit sowie eine Lohnerhöhung und eine Professur an der Dresdener Akademie hielten Graff davon ab, eine angesehene Stelle am preussischen Hof in Berlin anzunehmen. Im Jahr 1771 heiratete Anton Graff Elisabeth Sophie Auguste Sulzer.
Das wohl berühmteste Bildnis ist ein Porträt von Friedrich dem Grossen. Graff gelang es, die Porträtierten genau zu erfassen und damit das emotionale und geistige Wesen malerisch wiederzugeben. Insgesamt malte Graff über 1000 Personen und hinterliess über 2000 Werke. Die Liste der namhaften Persönlichkeiten ist sehr lang und umfasst unter anderem Dichter, Maler, Musiker, Könige und Fürsten. In seiner späteren Schaffensphase wandte sich Graff auch der Landschaftsmalerei zu. Graff verstarb am 22. Juni 1813 in Dresden.
Die Schreibweise des Namens Graff war vielseitig und reichte von Graff über Graf bis Graaf oder gar zu Graaff. Anton Graff unterzeichnete seine Briefe schon früh mit «A. Graff» oder mit «Anton Graff».