Habib Ali bin Muhammad Al Habsyi dilahirkan pada tanggal 24 syawal 1259 H/1839 M, tepatnya pada hari Jum’at di desa Qosam. Nama “Ali” diberikan oleh Al-Allamah Sayyid Abdullah bin Husein dengan harapan mendapat berkah Sayyidina Ali Kholi’ Qosam.
Sayyidah Alawiyah binti Husein bin Ahmad Al Hadi adalah ibu dari Habib Ali. Beliau dilahirkan pada tahun 1240 H, di Syibam. Beliau tertarik dengan mengajar dan berdakwah. Selain itu, beliau juga memiliki banyak karomah.
Habib Muhammad bin Husein Al Habsyi merupakan ayahnya. Beliau lahir pada tahun 1213 H, tepatnya pada tanggal 18 Jumandil Akhir. Beliau merupakan seorang pendakwah yang juga mempunyai banyak karomah.
Semasa belajarnya, Habib Muhammad bin Husein Al Habsyi belajar dan berkelana. Habib Muhammad berjumpa dengan banyak guru yang pada akhirnya menjadikannya sebagai seorang ‘alim ulama ternama.
Guru-guru yang pernah mengajar beliau antara lain ialah Habib Tohir bin Husein, Habib Abdullah bin Husein, Habib Hasan bin Saleh Al Bahr Al Jufri, Habib Abdullah bin Ali, Habib Ahmad bin Umar bin Smith, dan masih banyak lagi.
Salah satu nasehat dari Habib Muhammad Al Habsyi yang sangat menyentuh “Ingatlah, jangan sampai kalian tidak belajar berbahasa, Nahwu dan shorof. Karena ilmu bahasa merupakan dasar dan sebagai perantara untuk memahami semua ilmu”.