Toeplitz stammte aus einer Familie von Mathematikern: Sein Großvater und sein Vater waren Gymnasiallehrer für Mathematik. Er studierte in Breslau und Berlin, habilitierte sich in Göttingen bei David Hilbert und wurde 1920 ordentlicher Professor in Kiel. Im Jahr 1928 wurde er nach Bonn berufen.
Bereits in Kiel führte er regelmäßig Seminare zur Geschichte der Mathematik für die Lehramtskandidaten und im Rahmen der Lehrerweiterbildung durch. In Bonn gelang es ihm, den Mathematikhistoriker Erich Bessel-Hagen zu gewinnen, und so wurde das Mathematische Institut der Universität Bonn das erste in Deutschland, welches eine eigene Abteilung für Geschichte der Mathematik mit einer eigenen gut ausgestatteten Bibliothek hatte. Auch hier wurden regelmäßig Seminare zur Geschichte der Mathematik angeboten.
Toeplitz war Mitbegründer der Zeitschrift „Quellen und Studien zur Geschichte der Mathematik“. Mit Heinrich Behnke aus Münster begründete er die Zeitschrift „Semesterberichte zur Pflege des Zusammenhangs von Universität und Schule“, die bis heute fortbesteht. Nach Erlass der Nürnberger Rassengesetze im Jahr 1935 wurde
Toeplitz als Jude von den nationalsozialistischen Behörden entlassen; es gelang ihm 1939 noch, nach Palestina zu emigrieren, wo er aber bereits 1940 verstarb. Bessel-Hagen führte die Tradition, so gut es ging, noch fort, verstarb aber selbst im Jahr 1945.
Bonn wichtiges Zentrum der mathematikhistorischen Forschung
Nach dem Krieg gab es am Mathematischen Institut immer wieder Professoren, die Interesse an der Geschichte der Mathematik hatten und Arbeiten dazu förderten. Seit etwa 30 Jahren ist das Institut mit der Erarbeitung der international beachteten Hausdorff-Edition (10 Bände einschließlich einer umfangreichen Hausdorff-Biographie) wieder eines der wichtigen Orte mathematikhistorischer Forschung; von den Bonner Professoren sind hier insbesondere Egbert Brieskorn (1936 - 2013), Stefan Hildebrandt (1936 - 2015), Friedrich Hirzebruch (1927 - 2012) und Walter Purkert zu nennen.