È stato anche membro e presidente della Corte Costituzionale Federale tedesca e Ministro della Cultura e dell’Istruzione. Durante la sua funzione alla Corte Costituzionale, si è profondamente dedicato alle politiche per l’immigrazione e l’integrazione delle minoranze. Nel contesto europeo ha ricoperto diverse cariche; tra queste è stato fondatore e membro del comitato scientifico di Reset Dialogues on Civilizations dal 2004. Durante il periodo successivo alla presidenza, tra il 1999 e il 2000, Herzog ha presieduto la Convenzione Europea per la preparazione della Carta dei Diritti Fondamentali dell’Unione Europea.

Angela Merkel ha commemorato la sua grande energia intellettuale. L’attuale presidente Gauck ha ricordato Herzog come un intellettuale ed un saggio che combatteva per le libertà e i diritti civili. Il costante interesse di Herzog per la coesistenza di diverse culture e religioni ha fruttato tributi da parte delle comunità delle minoranze etniche, come quello del presidente del Consiglio Centrale degli Ebrei, Josef Schuster.

Durante il World Economic Summit a Davos nel 1999, Herzog ha spiegato come un’intensificazione del dialogo inter-culturale sia fondamentale come premessa per ogni scenario politico ed economico di pace. Herzog ha dialogato con Mohammad Khatami, ex presidente iraniano, sostenitore del dialogo tra religioni. E insieme a Bassam Tibi, un altro membro del Comitato Scientifico di Reset-DoC e noto scienziato politico siriano, ha scritto il volume Preventing the clash of civilizations (St. Martin’s Press, New York, 1999). Uno degli argomenti di fondo del libro consiste nel valorizzare gli elementi etici in comune tra le civiltà che possono consentire di superare i conflitti.

Herzog aveva una visione dell’architettura del continente europeo, che ha sviluppato nel suo libro Europa neu erfinden: Vom Überstaat zur Bürgerdemokratie – Reinventare l’Europa: dallo stato sovranazionale alla democrazia – meno utopica e meno federalista dei padri fondatori dell’Unione Europea; una visione molto attenta al futuro dello stato-nazione. Nel 2007, in occasione del cinquantesimo anniversario del Trattato di Roma, ha espresso critiche alle ideologie sovranazionaliste fatte proprie dall’Unione Europea, contestando le politiche di centralizzazione e l’eccessivo trasferimento di potere alle istituzioni di Bruxelles.

Politico riformista e cosmopolita, Herzog sosteneva che le culture che sono in grado di capire le proprie tradizioni e i propri limiti, potranno essere capaci di affrontare meglio il dialogo internazionale.