در سال ۱۳۳۱، جمعیتی به نام «پیروان قرآن» (وابسته به نهضت آزادی) به سرپرستی «محمدمهدی پورگل» (دبیر دبیرستان‌های بندرپهلوی و استاد کنونی دانشگاه مشهد) در این شهرستان تشکیل شد. تعدادی از مذهبی‌های پرشور، از جمله «عباس قلعه‌زاری» از پیروان فدائیان اسلام، به عضویت این انجمن درآمدند.

اعضای این انجمن که مقلد امام خمینی بودند، به جذب جوانان علاقه‌مند به معارف قرآن روی آوردند؛ بر این اساس افرادی همچون «احمد بناساز نوری» و «مرتضی فتحعلی‌زاده» (از زندانیان سیاسی سابق) در جلسات هفتگی این انجمن که روزهای جمعه در مسجد قائمیه برگزار می‌شد، شرکت می‌کردند.

انجمن پیروان قرآن که فاقد اساسنامه بود، پس از سال ۱۳۵۰ از فعالیت‌های خود کاست و در صدد تأسیس تشکل دیگری به نام «انجمن خیریه ولی‌عصر (عج)» برآمد. در پی این تصمیم، با اهدای ۵۰۰ متر مربع زمین از سوی مرحوم «ابراهیمی شافع» و جمع‌آوری مبلغ ۱۵۰ هزار ریال از خیرین، مراسم کلنگ‌زنی کتابخانه، درمانگاه و مرکز تعلیمات مذهبی با حضور «سید محمدعلی میلانی» (نماینده آیت‌الله میلانی) انجام شد.

عملیات ساختمانی بلافاصله با خودیاری کسبه و تجار آغاز گردید و بنای انجمن در دو طبقه (واقع در کهنه بازار بندرپهلوی، جنب مسجد سرخی) در سال ۱۳۵۴ به اتمام رسید. این انجمن هم‌اکنون دارای دو هزار عضو است که ماهانه مبلغی بین ۲۰ تا ۲۰۰ ریال به‌عنوان شهریه پرداخت می‌کنند. درآمد حاصله صرف هزینه‌های ساختمان و درمانگاه (شامل بخش‌های زنان و مردان) می‌شود. (اسناد ساواک: 1389  2، 30)