Kyai Haji Muhammad Yahya dilahirkan pada tahun 1903 M, di desa Jetis, 10 km arah barat kota Malang, perjalanan kearah kota Batu. Saat ini, desa jetis berada di wilayah kerja kecamatan Dau, kabupaten Malang dan berbatasan langsung dengan kelurahan Tlogomas yang sudah berada di wilayah kerja kecamatan Lowokwaru, Kotamadya Malang.
Meskipun lahir di daerah Malang, namun sebenarnya kiai Yahya memiliki darah keturunan Jawa Tengah, tepatnya daerah Juwana, kabupaten Pati. Karena ayahandanya, kiai Qoribun dan ibunda nyai Sarmi adalah penduduk asli Juwana. Dari perkawinan kiai Qoribun dan nyai Sarmi itulah kiai Yahya dilahirkan sebagai anak keempat dari tujuh bersaudara. Dengan demikian beliau memiliki tiga kakak dan tiga adik. Kakak pertama dan kedua adalah perempuan, yaitu Ratun dan Tasmi, sedangkan kakak ketiganya adalah seorang laki-laki yang bernama Abdul Hamid. Ketiga adik beliau kesemuanya laki-laki, yaitu Subadar, Jayadi dan si bungsu Nasibun.