মুন্সীগঞ্জশহরের প্রান কেন্দ্রস্থলে ইদ্রাকপুর কেল্লা অবস্থিত। মোঘল সম্রাটআওরঙ্গজেবের আমলে সেনাপতি ও বাংলার সুবেদার মীর জুমলা কর্তৃক ১৬৬০ সালেবিক্রমপুরের এই অঞ্চলে ইদ্রাকপুর কেল্লা নামে এই দুর্গটি নির্মিত হয়। সে সময় মগ জলদস্যু ও পর্তুগীজদের আক্রমন হতে এলাকাকে রক্ষা করার জন্য এই দূর্গটি নির্মিত হয়। জনশ্রুতি আছে এ দূর্গের সাথে ঢাকার লালবাগের দূর্গের সুড়ঙ্গপথে যোগাযোগ ছিল। শত্রুদের উদ্দেশ্যে গোলা নিক্ষেপের জন্য দূর্গটির দেয়ালে অসংখ্য ছিদ্র রয়েছে। প্রাচীর ঘেরা এই দুর্গটির চারকোণায় রয়েছে একটি করে গোলাকার বেস্টনী। ১৯০৯ সালে এই দূর্গটি পুরাকীর্তি হিসেবে ঘোষিত হয়।বহু উচ্চ প্রাচীর বেষ্টিত এই গোলাকার দূর্গটি এলাকায় এস.ডি.ও কুঠি হিসাবে পরিচিত।
মুন্সীগঞ্জ-বিক্রমপুরের কালের সাক্ষী অনেকইমারতের মধ্যেএকটি হলো ইদ্রাকপুর কেল্লা। মুঘল শাসনামলে বিখ্যাত বারোভূঁইয়ারা বাংলারবিভিন্ন অঞ্চলে স্বাধীনভাবে দেশ শাসন করতেন। বারো ভূঁইয়াদের অন্যতম ছিলেন বিক্রমপুরের চাঁদ রায়, কেদার রায়। চাঁদ রায়-কেদার রায়দের শায়েস্তা করার লক্ষ্যে মুন্সীগঞ্জের ইদ্রাকপুর নামক স্থানে মুঘল ফৌজদার একটি কেল্লা নির্মাণ করেন। ধলেশ্বরী-ইছামতির সংগমস্থলে চাঁদ রায় ১৬১১খ্রি. ডাকচেরা ও যাত্রাপুর দূর্গ হারিয়ে পরাজিত হন। ফলে সমগ্র বিক্রমপুর মুঘলদের শাসনে চলে আসে। বিশাল বিক্রমপুরে মুঘলদের করতলে রাখতে এবং বিদেশি সৈন্যদের হাত থেকে সুবে-বাংলার রাজধানী ঢাকাকে রক্ষার জন্য মুন্সীগঞ্জের ইদ্রাকপুর নামকস্থানে মুঘল সুবেদার মীর জুলমা ১৬৬০ খ্রি. একটি দূর্গ বা কেল্লা নির্মাণ করেন। কেল্লাটি লালবাগের চেয়ে ছোট হলেও গুরুত্ব ছিল অনেক বেশি। ১৬৬০ সালে ইদ্রাকপুর এলাকাটি ইছামতি-ধলেশ্বরী, ব্রহ্মপুত্র-মেঘনা ওশীতলক্ষ্যার সংগমস্থল ছিল। মেঘনা-ব্রহ্মপুত্র, ইছামতি ও ধলেশ্বরীর গতি পরিবর্তনের ফলে এখন মুন্সীগঞ্জ শহরের কেন্দ্রস্থল মাকহাটী-কাচারী সড়কের পশ্চিম পাশে কোর্টগাঁও এলাকায় অবস্থিত। চতুর্দিকে প্রাচীর দ্বারা আবৃত দূর্গের মাঝে মূল দূর্গ ড্রামের মধ্যে। দূর্গের প্রাচীর শাপলা পাপড়ির মতো। প্রতিটি পাপড়িতে ছিদ্র রয়েছে। ছিদ্র দিয়ে কাঁসার ব্যবহার করা হতো। দূর্গের উত্তর দিকে বিশালাকার প্রবেশদ্বার রয়েছে। সিঁড়ি দিয়ে মূল দূর্গের চূড়ায় উঠা যায়। মূল ভূমি হতে ২০ ফুট উঁচু। দেয়ালের বর্তমান উচ্চতা প্রায় ৪/৫ ফুট। প্রাচীরের দেয়াল ২-৩ ফুট পুরো। দূর্গে প্রবেশদ্বারের উত্তর পাশে একটি গুপ্ত পথ রয়েছে। কথিত আছে, এ গুপ্ত পথ দিয়ে লালবাগ কেল্লায় যাওয়া যেত। এর সত্যতা পাওয়া যায়নি। তবে গুপ্ত পথ দিয়ে লালবাগ কেল্লায় নয়, অন্য কোথাও পালানো যেত। ২১০ দৈর্ঘ্য ২৪০ ফুট আয়তনের এ দূর্গখানি এখনও অক্ষত অবস্থায় দাঁড়িয়ে আছে। ইদ্রাকপুর কেল্লা খুব সম্ভবত ১৬৫৮ সালে নির্মাণ কাজ শুরু হয় এবং ১৬৬০ সালে তা শেষ হয়। কেল্লাটি দুই ভাবে বিভক্ত- পশ্চিমাংশ ও পূর্বাংশ। ড্রামের মধ্যখান বরাবর একটি ৫ ফুট উচ্চতার দেয়াল রয়েছে। প্রাচীরের উত্তরপাশে কামান বসানোর তিনটি মঞ্চ। দক্ষিণ পাশেও তিনটি থাকার কথা কিন্তু সেখানে রয়েছে ২টি। দূর্গে প্রবেশের মূল পথটি উত্তর পাশে। এই দূর্গটি হতে আবদুল্লাপুরে মঙ্গত রায়ের বিরুদ্ধে যুদ্ধ পরিচালিত হয়েছিল। মীর জুমলার সেনাপতি সদলি খান ও মগ রাজা মঙ্গত রায় উভয়েই মারা যান। মঙ্গত রায় শাহ সুজার সেনাপতি ছিলেন বলে অনেকে ধারণা করেন। ইদ্রাকপুর কেল্লায় আবুল হোসেন নামে একজন সেনাধ্যক্ষ সার্বক্ষণিক নিয়োজিত থাকতেন। আবুল হোসেন ছিলেন নৌ বাহিনীর প্রধান। তার নিয়ন্ত্রণে ২০০ নৌযান পদ্মা, মেঘনা, ধলেশ্বরী ও ইছামতির তীরে প্রস্তুত থাকত। যে সব নৌযান ইদ্রাকপুর কেল্লার নিয়ন্ত্রণে থাকত তা হলো কোষা, জলবা, গুরব, পারিন্দা, বজরা, তাহেলা, সলব, অলিল, খাটগিরি ও মালগিরি। ইদ্রাকপুর কেল্লার নিয়ন্ত্রণে যে সব পদাতিক বাহিনী ছিল তার প্রধান ছিলেন সদলি খান। এক সময় ইদ্রাকপুর দূর্গে মহকুমা প্রশাসনের বাস ভবন (১৮৪৫-১৯৮৪)ছিল।