নাগরপুরে প্রথম খাঁ বংশের হাত ধরেই চৌধুরীদের জমিদারী শুরু হয়। ঊনবিংশ শতাব্দী থেকে চৌধুরী বংশের প্রথম পুরুষ যদুনাথ চৌধুরী নাগরপুরে প্রথম জমিদারী শুরু করেন। 

প্রায় ৫৪ একর জমির উপর গড়ে উঠে তাঁদের এই জমিদারী। যদুনাথ চৌধুরীর ছিলেন তিন পুত্র-উপেন্দ্র মোহন চৌধুরী, জগদীন্দ্র মোহন চৌধুরী, শশাঙ্ক মোহন চৌধুরী। উপেন্দ্র মোহন চৌধুরীর  জেষ্ঠ্য পুত্র সতীশ চন্দ্র রায় চৌধুরী অনেক সেবামুলক কাজ করতেন। তাঁর কাজের খ্যাতির জন্য বৃটিশ সরকার তাঁকে রায় বাহাদুর খেতাবে ভূষিত করেন। উপেন্দ্র মোহন চৌধুরীর কনিষ্ঠ পুত্র ছিলেন তৎকালীন উপ-মহাদেশের বিখ্যাত ফুটবল দল ইষ্ট বেঙ্গল ক্লাবের প্রতিষ্ঠাতা সেক্রেটারী।

মোঘল সংস্কৃতি নান্দনিক সৌন্দর্যে নির্মিত হয়েছিল নাগরপুর জমিদার বাড়ি। জমিদার বাড়ির নওবতখানা থেকে প্রতিদিন ভোরে ছড়িয়ে পড়া ভৈরবী ধ্বনীতে ঘুম ভাঙতো জমিদার পরিবার ও প্রজাবৃন্দের। সুরেশ চৌধুরী এই জমিদার বাড়িকে কলকাতার আদলে তৈরি করতে চেয়েছিলেন। জমিদার বাড়ির রঙমহলের পাশে শোভা পেত - নিল বাঘ (কেতকী), সিংহ(দ্যুতি) ময়ূর, কাকাতোয়া, হরিণ এবং ময়না। ১৯৪৭ সালে দেশ ভাগের পর সরকার চৌধুরী বাড়ীর সকল সম্পদ দখল করেন। বর্তমানে জমিদার বাড়ীর মুল ভবটি প্রতিষ্ঠিত হয়েছে নাগরপুর মহিলা ডিগ্রী কলেজ।

পুরো জমিদার বাড়ির কাজ করা হয় সুদৃশ্য শ্বেত পাথরে। প্রাচীন ভারতের শিল্প কর্মে সজ্জিত চৌধুরী বংশের নিত্যদিনের পূজা অনুষ্ঠান হত ঝুলন দালানে। শ্রাবনের পূর্ণিমা তিথিতে বিশেষ ধর্মীয় অনুষ্ঠানাদির পাশাপাশি বিভিন্ন ধরনের নাটক, যাত্রা মঞ্চায়িত হত জমিদার বাড়িতে। স্বাধীনতা পরবর্তী সময়ে চৌধুরী বংশের শেষ পুরুষ মিলন দেবী উপাসনা বিগ্রহ ‘‘বৃন্দাবন বিগ্রহ’’ -এর রক্ষা করতে গিয়ে দুষ্কৃতকারীদের হাতে নির্মমভাবে নিহত হন।