Pada usia 39, Joe Clark menjadi Perdana Menteri termuda Kanada pada tahun 1979. Seorang konservatif fiskal, Joe Clark, dan rekannya pemerintah minoritas dikalahkan setelah hanya sembilan bulan berkuasa atas mosi tidak percaya pada anggaran kenaikan pajak dan pemotongan program.
Setelah kalah dalam pemilu 1980, Joe Clark tetap sebagai Pemimpin Oposisi. Ketika Brian Mulroney mengambil alih sebagai Pemimpin Partai Konservatif Progresif Kanada pada tahun 1983 dan kemudian Perdana Menteri pada 1984, Joe Clark melanjutkan sebagai Menteri Hubungan Eksternal yang efektif dan Menteri Konstitusi Urusan. Joe Clark meninggalkan politik pada tahun 1993 untuk bekerja sebagai konsultan bisnis internasional, tetapi kembali sebagai Pemimpin Partai Konservatif Progresif dari tahun 1998 hingga 2003.
Joe Clark memulai karir politiknya sebagai Direktur Organisasi untuk Partai Konservatif Progresif Alberta dari tahun 1966 hingga 1967. Dia adalah Asisten Khusus anggota parlemen Konservatif Davie Fulton pada tahun 1967. Dia menjabat sebagai Asisten Eksekutif untuk anggota parlemen Konservatif Robert Stanfield dari 1967 hingga 1970.
Joe Clark pertama kali terpilih ke House of Commons pada tahun 1972. Ia terpilih sebagai Pemimpin Partai Konservatif Progresif Kanada pada tahun 1976 dan Pemimpin Oposisi hingga 1979. Joe Clark dilantik sebagai Perdana Menteri Kanada setelah pemilihan umum 1979.
Pemerintah Konservatif dikalahkan pada 1980. Joe Clark lagi-lagi Pemimpin Oposisi dari tahun 1890 hingga 1983. Joe Clark mengadakan konvensi kepemimpinan Partai Konservatif Progresif dan kehilangan kepemimpinan partai karena Brian Mulroney pada tahun 1983.
Dalam pemerintahan Mulroney, Joe Clark menjabat sebagai Menteri Luar Negeri dari 1984 hingga 1991. Dia adalah Presiden Dewan Penasihat dan Menteri yang Bertanggung Jawab untuk Urusan Konstitusi dari 1991 hingga 1993. Joe Clark tidak mencalonkan diri dalam pemilihan umum 1993.
Joe Clark kembali sebagai Pemimpin Partai Konservatif Progresif Kanada pada tahun 1998. Dia terpilih kembali ke House of Commons pada tahun 2000. Pada tahun 2002, Joe Clark mengatakan bahwa dia telah membawa Partai Konservatif Progresif sejauh yang dia bisa. Pengunduran diri Joe Clark sebagai pemimpin Partai Konservatif Progresif efektif pada konvensi kepemimpinan pada Mei 2003.