Trabzon'un Maçka kazasında doğdu. Babası Rize eşrafından Molla Mehmed Abdülhamid Efendi, annesi Esma Hanım'dır. Ailesi 93 harbi sırasında İstanbul'a göçtü. Babası önce Akpınar, daha sonra Kağıthane Köyü Camii'nde imamlık yaptı.
Aziz Efendi ilk tahsilini Eyüb'de Şah Sultan İbtidaî Mektebi'nde tamamladı. Sıbyan mektebi sıralarında güzel yazıya olan merak ve kabiliyeti dolayısı ile Filibeli Arif Efendi'den sülüs ve nesih yazılarını öğrenmeye başladı. Yazıdaki başarısı ile kısa zamanda hocasının sevgi ve takdirini kazandı. Yazı tahsilini tamamlayıncaya kadar Nuruosmaniye'deki hat mektebine devam etti. 1314/1896'da hocası Arif Efendi ile Reisülhattatîn Muhsinzade Abdullah Hamdi Bey'den sülüs ve nesih yazılarında icazet aldı. Daha önce Karinabadlı Hasan Hüsnü Efendi'den nesta'lik yazısını meşkederek 1312/1894'te ondan da icazet almıştı. Zamanın celî üstadı Sami Efendi'nin Horhor'daki evinde yapılan san'at sohbetlerine devam ederek celî-sülüs, celî nesta'lik yazılarının inceliklerini öğrendi. Kabiliyetinin yanında disiplinli bir hat öğrenimi de gören Aziz Efendi, Şevkî Efendi yoluyla yazıya kendine has bir şive katarak san'at sahasında şahsiyetini ortaya koydu. Emsali arasında "serîü'l-kalem" namıyla şöhret buldu. Divanî, reyhani, muhakkak, tevkî', nesta'lik, rika', rik'a yazılarının bütün inceliklerini bilir ve yazardı. Revnakoğlu: "Aziz Efendi rik'a yazar gibi sür'atle sülüs, nesih ve nesta'lik yazardı. İstanbul'da yazısı en çok görülen bi zattı." diyor. Bilhassa celî-sülüs yazılarının istif ve terkîbinde son derece mahîr olup, çok güzel tuğra resmederdi. Eserlerine önceleri Abdülaziz Eyyubî ve Aziz, daha sonra ise Şeyh Mehmed Abdülaziz er-Rifaî şeklinde imza koydu.
İlk memûriyete 13121/895'da Meclis-i İdare-i Emval-i Eytam Kitabeti'nde başladı. 1319/1903'te görevi Mektûbî-i Meşîhat-i Ulya Kalemi Ketebesi'ne nakledildi. Bu arada Şehrî Ahmed Efendi'nin derslerine devam ederek ilmiye icazetnamesi aldı. Ayrıca Özbekler Tekkesi Şeyhi Edhem Efendi'den ebrû san' atını öğrendi. Bir müddet sonra yazısının güzelliği ve ahlakî olgunluğu sebebiyle Ma'rûzat-ı Mühimme Kitabeti'ne terfi etti ve kendisine gümüş liyakat madalyasıyla dördüncü dereceden Mecîdî nişanı verildi. Bu görevinin yanında Medresetü'l-kudat'ta ve Mahmudiye Rüşdiyesi'nde yazı hocalığı yaptı, meşîhat dairesi memurlarına da nesta'lik dersi verdi. Bu sırada Ümm-i Kenan Dergahı Şeyhi Ken'an Rifaî'ye intisap ederek 1910 yılında ondan hilafet aldı.
1339/1920'de Mısır Meliki 1. Fuad kendi adına bir Kur'an-ı Kerîm yazdırmak isteyince, ehil bir hattat seçmek üzere, Mısır nakîbüleşrafı Muhammed Ali Biblavî'yi hat üstatlarının merkezi İstanbul'a gönderdi. Biblavî, önce Medresetü'l-hattatîn'de Türk hattatlarıyle tanıştı ve yazılarını inceledi. Tavsiye üzerine Bab-ı Meşîhat'ta Aziz Efendi'yi de ziyaret ederek eserlerini gördü. Bu inceleme ve araştırmaları sonunda, Aziz Efendi'nin aradığı evsafta muktedir bir hattat olduğuna karar verdi. Aziz Efendi, 1922 yılında Mısır hükümetinin isteği, Mısır ve İstanbul İngiliz işgal kuvvetleri yüksek komiserliğinin aracılığı ile resmen Mısır'a davet edildi. Görevli bulunduğu Meşîhat dairesinin 14 Muharrem 1341 (6 Eylül 1922) tarih ve 107 sayılı yazısı ile beş ay izinle Kahire'ye gitti. "Melik Fuad nüshası" olarak bilinen Mushaf-ı Şerîf'i burada Ezher ulemasının kontrolüyle resm-i Osmanî üzere altı ayda yazdı. Bunun tezhîbi de kendisinden istenince izni beş ay daha uzatıldı. Aziz Efendi'nin İslam yazılarındaki üstünlüğünü ve kudretini gören Melik I. Fuad, ülkesinde yok olmaya yüz tutmuş olan hat san' atını canlandırmak için ondan Kahire'de bir hat mektebi açmasını istedi. Aziz Efendi melîkin bu teklîfini kabul etti ve ailesini de yanına alarak Kahire'ye yerleşti.
1341/1922 yılı sonlarında Kahire'de Medresetü tahsîni'l-hutûti'l-melekiyye adiyle bir mektep kurularak Halilağa Medresesi'ne bağlanmıştı. Bu mektebin büyük bir ilgi görmesi üzerine, Melîk ikinci bir hat medresesi açılmasını emretti. Bunun üzerine Aziz Efendi 1341/1923 yılı başlarında Şeyh Salih Erkek Medresesi'nde yeni bir hat mektebi kurdu. Her iki mektebin hem müdürlüğünü hem de hat hocalığını yaptı. Önce Melik I. Fuad'ın hususî evkaf dîvanına bağlanan, daha sonra eğitim bakanlığına devredilen bu hat medreselerinin kurulması, Mısır kültür ve san'atı bakımından oldukça önemli, hatta tarihî bir hadisedir.
Kahire'nin eskiden beri İslam dünyasının önemli kültür merkezlerinden biri olması sebebiyle buraya çeşitli İslam ülkelerinden ilim ve san'at öğrenmek üzere binlerce genç bu hat medreselerinden de istifade ederek memleketlerine dönmüşler, kendi ülkelerinde klasik Türk hat üslûbunun yayılmasını sağlamışlardır. Bunda Aziz Efendi'nin Kahire'deki on bir yıllık hocalığının önemli bir rolü olduğu aşikardır. Aziz Efendi san'at çalışmalarından artakalan vaktini mevlevîhanede irşad halkasına girenleri manen yetiştirmekle geçirmiştir.
Aziz Efendi, Kahire'nin havası sağlığına iyi gelmediği için Nisan 1933'te Mısır hükûmetinden emekliliğini isteyerek İstanbul' a döndü. 16 Ağustos 1934' te vefat etti ve Edirnekapı Mezarlığı'na defnedildi.
Hayatı boyunca büyük bir gayretle çalışmış olan Aziz Efendi, Kahire ve İstanbul' da pek çok talebe yetiştirmiştir. Kahire'de icazet verdiği talebeleri arasında Tahir el-Kürdî, Muhammed Ali Mekkavî, Muhammed Efendi eş-Şehhat, Muhammed Ahmed Abdü'l-al, Rızk Mûsa, Abdülkadir Efendi, Abdürrazık Salim ve Abdurrahman Hafız, Arap aleminin önde gelen hattatlarıdır. İstanbul' da icazet verdiği talebeleri içinde de Mahmut Bedreddin Yazır ve Ömer Vasfî, Türk hat san' atında önemli yeri olan kişilerdir.
Aziz Efendi hat sahasında güzel eserler bırakmıştır. Bunlar arasında on iki Mushaf-ı Şerif onun en önemli eserlerindendir. O tarihte bu mushaflardan biri Afganistan emîrinde, biri de Hidiv Abbas Hilmi Paşa'nın validesinde idi. Melik I. Fuad için yazdığı Kur'an-ı Kerîm, 1952 ihtilalinden sonra, Kahire İslam Eserleri Müzesinde muhafaza edilmektedir. İki Mushaf-ı Şerîf İstanbul'da damadı Ekrem Hakkı Ayverdi'nin kurduğu Kubbealtı Kültür ve San'at Vakfı Ekrem Hakkı Ayverdi Hat Koleksiyonu'nda bulunmakta, diğerlerinin ise nerede olduğu bilinmemektedir. Hutût-ı mütenevvia ile yazdığı yedi büyük hilye de hat san'atındaki kudretini gösteren önemli eserleridir. Bu hilyelerden biri yine aynı vakfın hat koleksiyonunda, biri İstanbul'da Ümm-i Kenan Dergahı'nda, biri de Emin Barın hat koleksiyonunda bulunmaktadır. Hayatının en olgun dönemine rastlayan Kahire'deki hocalığının bugün Arap aleminde hat san'atının klasik yazı formlarının bozulmadan günümüze ulaşmasında ve ilerlemesinde önemli ölçüde roloynadığı kabul edilmektedir. Yirmiyi aşkın sülüs-nesih ve nesta'lik meşk albümü ile nesta'lik hatla yazdığı Kasîdetü'l-bürde ve sülüs-nesih el-Kasîdetü'n-nûniyye Kahire'de yayımlanmıştır (1343/1924). Ayrıca Bursa Ulu Camii'nde iki, İstanbul'da Türk ve İslam Eserleri Müzesi'nde 116 parça levhası ile, özellikle Ekrem Hakkı Ayverdi Koleksiyonu'nda çeşitli yazı örnekleri ve levhaları bulunmaktadır.