Hans-Dieter Schwarz erkrankte mit elf Jahren schwer an Tuberkulose, wodurch seine Gesundheit lebenslang beeinträchtigt war. Er musste deshalb nicht als Soldat am Zweiten Weltkrieg teilnehmen und studierte ab 1940 an der Staatlichen Akademie für graphische Künste und Buchgewerbe Leipzig, der späteren Hochschule für Grafik und Buchkunst Leipzig, ab 1944 als Meisterschüler.

1947 heiratete er seine Kommilitonin  Veronika Fritsche, die als Kinderbuchillustratorin bekannt wurde. Schwarz arbeitete nach seinem Studium als freier Maler und Grafiker für Tageszeitungen und als Porträtmaler. 1951 war er in Berlin bei der Zeitung Sportecho beschäftigt. Er schuf Plakate für die Autorennen auf der Avus und arbeitete später für das Satire-Magazin Eulenspiegel. 1953 zog die Familie nach Köthen. Im selben Jahr wurde Schwarz Mitglied im Verband Bildender Künstler der DDR (VBK). Am 2. Dezember 1955 wurde Schwarz wegen einiger Karikaturen von der Staatssicherheit verhaftet und zu zwei Jahren Gefängnis verurteilt. Nach einem Jahr wurde er aus gesundheitlichen Gründen und wegen guter Führung entlassen, die Reststrafe wurde zur Bewährung ausgesetzt, und er konnte wieder als freischaffender Künstler arbeiten. Er war bis 1990 Mitglied des VBK und nahm 1974 und 1979 an der Bezirkskunstausstellung Halle (Saale) teil. Er lebte zuletzt in Berlin.