হরিদ্বার, রাজপুর, মুসৌরীতে কিছু কাল কাটিয়ে প্রথমে উত্তরকাশীর জ্ঞানসুতে একটি পাঞ্জাবী আশ্রমে এবং পরে বিশ্বনাথ শিবমন্দিরে তিনি কঠোর তপস্যা শুরু করেন। প্রথম কয়েকদিন অবশ্য তীব্র বৈরাগ্যে আর ভগবান লাভের ব্যাকুলতায় পাগলের মত ঘুরে বেড়াচ্ছিলেন পথে পথে। একদিন একটি সাধু পিছন থেকে ডেকে বলছে তাঁর গুরুজী তাঁকে ডাকছেন। তিনি বললেন, তাঁর ভুল হচ্ছে কারণ তিনি নবাগত, এখনও কারো সঙ্গে পরিচিত হবার সুযোগ তাঁর হয়নি। তাঁর গুরুজী নিশ্চয়ই অন্য কাউকে ডাকছেন। তাছাড়া তাঁর মন একদম ভালো নেই তাই কারো সঙ্গে পরিচিতি হতে ইচ্ছাও করছে না। কিন্তু সাধুটি অত্যন্ত সবিনয়ে জানাল, অন্য কাউকে নয় তাঁকেই তাঁর গুরুজী ডাকছেন। তিনি কি আর করেন, অগত্যা সাধুটির সঙ্গে তাঁর গুরুজীর কুঠিয়াতে গেলেন। গুরুজী তো অতি সমাদরে তাঁকে স্বাগত জানিয়ে বললেন, তাঁর এক শিষ্য তাঁকে একটি গ্রামোফোন ও বাংলা গানের রেকর্ড উপহার দিয়েছে। তিনি তো বাঙালী সাধু তাই তাঁকে শোনাবার জন্য তিনি ডাকিয়াছেন। তিনি যদি শোনেন তাঁর ভালোই লাগবে। তিনি তো মনে মনে ভাবছেন, কি আপদ! তিনি তীব্র বৈরাগ্য ভগবান লাভের জন্য মনকে তাঁর শ্রীচরণে মগ্ন করতে চেষ্টা করছেন, তার বদলে এখন বসে বসে রেকর্ড শুনতে হবে। আর এই সুদূর পর্বত গুহায় গ্রামোফোন রেকর্ড শোনবার কথা তিনি চিন্তাও করতে পারেন না কারণ গ্রামোফোন সবে মাত্র ভারতে চালু হয়েছে। কিন্তু গুরুজীর আগ্রহ ও সস্নেহ ব্যবহারে মুখে কিছু বলতে পারলেন না। কিন্তু কি অদ্ভুত দৈবী লীলা। বাংলা গানটি শুনে তিনি যারপরনাই আশ্চর্য হয়ে গেলেন। পরপর তিনবার গানটি শুনলেন। গানটি হল—‘পাগলা, মনটারে তুই বাঁধ্‌। কেনরে তুই যেথা সেথা পরিস্‌ প্রাণে ফাঁদ’?
তাঁর মনে হল ঠাকুরই যেন কৃপা করে তাঁর দিশেহারা চঞ্চল মনকে স্থির করার জন্য এই সুদূর পার্বত্য অঞ্চলে এই রকম গান শুনিয়ে তাঁর মনটি শান্ত করলেন। ঠাকুরের অহেতুকী কৃপায় অশ্রুসজল চোখে অনেক সাধুবাদ জানিয়ে তিনি কুঠিরায় ফিরলেন। ধীরে ধীরে তাঁর মন শান্ত হয়ে জপধ্যানে গভীরভাবে নিমগ্ন হল। উত্তরকাশীতে তখন রামকৃষ্ণ সঙ্ঘের সাধুদের তপস্যা করার জন্য কুঠিয়ার খুব অভাব। একজন সাধু কুঠিয়া তৈরী করার জন্য টাকা পাঠাতে চাইলেন এবং যাঁরা তখন সেখানে তপস্যা করছিলেন তাঁরা এ ব্যাপারে স্বামী ভূতেশানন্দজীকে উদ্যোগী হতে অনুরোধ করায় তিনি স্বামী শিবানন্দজীকে চিঠি লিখে সব জানালেন। স্বামী শিবানন্দজী উত্তরে লিখলেন, ‘দেখ, এখানে আমাদের বহু জায়গায় অনেক ঘরবাড়ী তৈরী হচ্ছে। বাড়ীঘর করতে হলে এখানে চলে এস। আর যদি তপস্যাই করতে হয় তো ও সব মন থেকে ঝেড়ে ফেলে দিয়ে তাঁর ওপর নির্ভর করে থাক। ভগবানের ওপর সম্পূর্ণ নির্ভর করে নিরালম্ব ও শরণাগত হয়ে তপস্যা কর।’ স্বামী শিবানন্দজীর এই সুষ্পষ্ট নির্দেশ ও সতর্ক বাণীতে তিনি ঐসব চিন্তা মুহূর্তে মন থেকে দূরে সরিয়ে কঠোর তপস্যায় মন দিলেন। প্রথমে কাশী ও পরে উত্তরকাশীতে প্রায় দুবছর তপস্যা করেন তিনি। ১৯৩০ খৃঃ এর শেষে মঠ কর্তৃপক্ষ ডেকে পাঠান। ফিরে এলে তাঁকে ঢাকায় পাঠান হয়। সেখানে দেড় বছর, তারপর ১৯৩২ এর মার্চে মহীশূর স্টাডি সার্কেলে। সেখানে তিনি বিখ্যাত পণ্ডিত এ.ডি.এল শ্রীনিবাস আচারিয়ার কাছে ব্রহ্মসূত্রের শ্রীভাষ্য পড়েন।