Embrio berdirinya Pondok Pesantren Salafiyah adalah sebuah langgar yang didirikan oleh Kyai Hasan Sanusi (Mbah Slagah) di suatu dusun yang bernama kebonsari yaitu kira-kita tahun 1779 M. Dari langgar ini, yang biasa disebut sebagai Langgar Gede dilangsungkan pengajaran dan penyebaran Islam secara intensif dan berkesinambungan hingga Kyai Hamdani, cucu mbah Slagah, memperluas jaringan pengajaran Langgar Gede dengan membangun langgar lagi di sebelah baratnya pada tahun 1876 M untuk menampung para santri, berikut dibangun pula bilik-bilik sederhana. Perkembangan langgar ini semakin tahun semakin pesat dengan terus berdatangannya para santri dari berbagai daerah hingga secara tidak langsung berdirilah sebuah kompleks pondok pesantren yang berporos pada tiga unsurnya, yaitu rumah atau dalem kyai, langgar atau masjid serta bilik-bilik santri.

Selanjutnya kepemimpinan Kyai Hamdani diteruskan oleh Kyai Shofiyuddin, menantu beliau asal Madura. Setelah Kyai Shofiyuddin wafat, Kyai Arsyad putra beliau menggantikannya. Di bawah kepemimpinan Kyai Arsyad, perkembangan pondok pesantren menunjukkan kemajuannya dengan diselenggarakannya berbagai kajian khazanah Islam klasik yang menarik para santri dari berbagai daerah untuk menimba ilmu di pondok ini. Di antara santri tersebut adalah Kyai Yasin bin Rois yang pada gilirannya meneruskan kepemimpinan pondok pesantren ini setelah wafatnya Kyai Arsyad, sebagai menantu beliau.

Pada masa kepemimpinan Kyai Yasin (w. 1351 H), mulai dikenal pendidikan Madrasah yang dikenal sebagai Madrasah Sunniyah. Hanya saja, madrasah ini tidak menyatu di kompleks pondok pesantren namun diletakkan di dekat Masjid Jami’ Pasuruan. Agaknya hal ini untuk tidak mengganggu jalannya sistem pengajaran di pesantren sendiri yang telah berlangsung sekian lama. Setelah beliau wafat, secara berturut-turut kepemimpinan pesantren dipegang oleh Kyai Mas Sahalullah, Kyai Muhammad bin Yasin, Kyai Abdullah bin Yasin, Kyai Ahmad Qusyairi bin Shiddiq serta Kyai Ahmad bin Sahal, sebelum akhirnya kepemimpinan pesantren di bawah kendali Kyai Hamid.

Pada masa Kyai Hamid, Pondok Pesantren Salafiyah mengalami pertumbuhan yang sangat pesat dengan membuka kembali sistem madrasah di dalam pondok yang sebelumnya diselenggarakan di luar pondok pada tahun 1971. Hanya saja, kurikulum madrasah dirancang sendiri dengan bertitik tekan pada model pengajaran salafy, dengan demikian bukan madrasah formal. Sistem demikian terus bertahan hingga saat ini. Pada masa beliau pula, didirikanlah pesantren putri dengan sistem dan kurikulum pengajarannya persis sama dengan pesantren putra. Keluasan ilmu dan kearifan Kyai Hamid telah menarik hati para orangtua dari berbagai daerah di Indonesia menitipkan putra-putrinya kepada beliau untuk dididik sebagai kader-kader pengibar panji-panji Islam yang kukuh dan berdaya.

Sepeninggal Kyai Hamid estafeta kepemimpinan diteruskan oleh Kyai Aqib bin Yasin, putra terakhir Kyai Yasin. Setelah Kyai Aqib wafat, dibentuklah Dewan Kenadhiran sebagai upaya menjaga keberlangsungan pondok pesantren, hasil musyawarah Shulaha ahlil balad. Untuk pertama kalinya diangkat sebagai anggota Dewan Nadhir adalah KH M. Sholeh Ahmad Sahal, KH M. Idris Hamid dan KH Ahmad Taufiq Aqib. Saat ini kepemimpinan dalam Dewan Nadhir dikendalikan oleh KH M. Idris Hamid dan KH Ahmad Taufiq Aqib.