Gereja Mawar Sharon diawali pada tahun 1984, dari sebuah Persekutuan Doa "Febe", yang diadakan setiap hari Senin dengan jumlah jemaat sekitar 75 sampai 100 orang, di jalan Embong Sawo. Dua tahun kemudian persekutuan tersebut pindah ke Jalan Cempaka Surabaya, dan ibadah dilaksanakan di bawah balkon utama Cempaka 18i.

Tanggal 20 Juli 1986, persekutuan doa tersebut resmi memakai nama "Mawar Sharon". Seiring dengan berjalannya waktu, persekutuan "Mawar Sharon" berkembang, jemaat terus bertambah hingga mencapai 1000 orang, sehingga akhirnya diputuskan untuk memperlebar ruang ibadah. Tahun 1987-1988, dibangunlah ruang kebaktian utama di jalan Cempaka tersebut.

Pada bulan Juli 1989, Pemerintah mengeluarkan izin sehingga persekutuan "Mawar Sharon" resmi menjadi Gereja "Mawar Sharon". Sekalipun telah diresmikan, baru akhir Maret 1990 pada minggu terakhir, nama Gereja Mawar Sharon di gunakan dan diperkenalkan kepada Jemaat.

Tahun 1992, Gereja Mawar Sharon membangun sebuah Bukit Doa, dan selesai dibangun tahun 1993. Bukit Doa tersebut diresmikan 2 tahun kemudian, dengan nama Bukit Doa Immanuel.

Pada tahun 1994, Visi Gereja Sel yang Apostolik mulai diperdengungkan untuk dijadikan landasan hidup berjemaat Gereja tersebut, lewat kelompok sel yang ada, yaitu Kemas (Keluarga Melayani Allah dan Sesama), Pemasa (Pemuda Melayani Allah dan Sesama), Remasa (Remaja Melayani Allah dan Sesama), Amasa) (Anak Melayani Allah dan Sesama).

Pada awal Desember 2000 Gereja Mawar Sharon mengundurkan diri dari keanggotaan GBI dan resmi berdiri sebagai sinode sendiri.

Pada tahun 2002, Visi Gereja Mawar Sharon ditambahkan, menjadi sel yang Apostolik dan Profetik. Sejak itu, Gereja Mawar Sharon mulai membuka satelit-satelit di seluruh Indonesia.