Berawal dari perbedaan antara tokoh tradisional dan tokoh modernis yang muncul di tubuh Nahdlatul Wathan, organisasi keagamaan yang bergerak di bidang pendidikan Islam, pembinaan mubaligh, dan pembinaan kader. KH Abdul Wahab Hasbullah, tokoh tradisional dan KH Mas Mansyur yang berhaluan modernis, akhirnya menempuh arus gerakan yang berbeda justru saat tengah tumbuhnya semangat untuk mendirikan organisasi kepemudaan Islam.
Dua tahun setelah perpecahan itu, pada 1924 para pemuda yang mendukung KH Abdul Wahab yang kemudian menjadi pendiri NU membentuk wadah dengan nama Syubbanul Wathan (Pemuda Tanah Air). Organisasi inilah yang menjadi cikal bakal berdirinya Gerakan Pemuda Ansor setelah sebelumnya mengalami perubahan nama seperti Persatuan Pemuda NU (PPNU), Pemuda NU (PNU), dan Anshoru Nahdlatul Oelama (ANO).Nama Ansor ini merupakan saran KH. Abdul Wahab, ulama besa sekaligus guru besar kaum muda saat itu, yang diambil dari nama kehormatan yang diberikan Nabi Muhammad SAW kepada penduduk Madinah yang telah berjasa dalam perjuangan membela dan menegakkan agama Allah. Dengan demikian ANO dimaksudkan dapat mengambil hikmah serta tauladan terhadap sikap, perilaku dan semangat perjuangan para sahabat Nabi yang mendapat predikat Ansor tersebut. Gerakan ANO (yang kelak disebut GP Ansor) harus senantiasa mengacu pada nilai-nilai dasar Sahabat Ansor, yakni sebagi penolong, pejuang dan bahkan pelopor dalam menyiarkan, menegakkan dan membentengi ajaran Islam. Inilah komitmen awal yang harus dipegang teguh setiap anggota ANO (GP Ansor). Meski ANO dinyatakan sebagai bagian dari NU, secara formal organisatoris belum tercantum dalam struktur organisasi NU. Hubungan ANO dengan NU saat itu masih bersifat hubungan pribadi antar tokoh. Baru pada Muktamar NU ke-9 di Banyuwangi, tepatnya pada tanggal 10 Muharram 1353 H atau 24 April 1934, ANO diterima dan disahkan sebagai bagian (departemen) pemuda NU dengan pengurus antara lain: Ketua H.M. Thohir Bakri; Wakil Ketua Abdullah Oebayd; Sekretaris H. Achmad Barawi dan Abdus Salam.Dalam perkembangannya secara diam-diam khususnya ANO Cabang Malang, mengembangkan organisasi gerakan kepanduan yang disebut Banoe (Barisan Ansor Nahdlatul Oelama) yang kelak disebut BANSER (Barisan Serbaguna). Dalam Kongres II ANO di Malang tahun 1937.
Di Kongres ini, Banoe menunjukkan kebolehan pertamakalinya dalam baris berbaris dengan mengenakan seragam dengan Komandan Moh. Syamsul Islam yang juga Ketua ANO Cabang Malang. Sedangkan instruktur umum Banoe Malang adalah Mayor TNI Hamid Rusydi, tokoh yang namaya tetap dikenang dan bahkan diabadikan sebagai sama salah satu jalan di kota Malang.Salah satu keputusan penting Kongres II ANO di Malang tersebut adalah didirikannya Banoe di tiap cabang ANO. Selain itu, menyempurnakan Anggaran Rumah Tangga ANO terutama yang menyangkut soal Banoe.Pada masa pendudukan Jepang organisasi-organisasi pemuda diberangus oleh pemerintah kolonial Jepang termasuk ANO. Setelah revolusi fisik (1945 1949) usai, tokoh ANO Surabaya, Moh. Chusaini Tiway, melempar mengemukakan ide untuk mengaktifkan kembali ANO. Ide ini mendapat sambutan positif dari KH. Wachid Hasyim, Menteri Agama RIS kala itu, maka pada tanggal 14 Desember 1949 lahir kesepakatan membangun kembali ANO dengan nama baru Gerakan Pemuda Ansor, disingkat Pemuda Ansor (kini lebih pupuler disingkat GP Ansor).
