باغ ارم شیراز به طور مسلم از دوره سلجوقیان و در تمام دوره آل اینجو و آل مظفر و گوركانیان وجود
داشته و با توجه به اینكه سیستم فئودالی به طور كامل بر جامعه آن دوره حاكم بوده بدون تردید
بانیان و صاحبان باغ ارم كه باغی ارزشمند بوده، در آن زمان حكام وقت بودهاند. احتمال میرود اتابك
قراچه كه از طرف سنجر سلجوقی به حكومت فارس منصوب بوده دستور احداث این باغ را داده باشد.
بعد از وی تا جلوس شاه شیخ ابواسحاق اینجو كه احتمالاً باغ ارم را در تصدی داشت، اطلاعی از نحوه
مالكیت این باغ در دست نیست. شاه شیخ ابواسحاق اینجو در سال 742 ه.ق جلوس نموده و در
سال 757 ه.ق كشته شد. پس از انقراض سلسله آل اینجو به وسیله آل مظفر، احتمالاً باغ ارم به
مالكیت سلاطین آل مظفر در آمده و در عهد شاه منصور آخرین پادشاه این خاندان كه به دست
گوركانیان كشته شد، باغ در نهایت آبادانی و شكوه بوده است. از عصر صفویه به بعد، باغ ارم در
نوشتههای جهانگردان، آباد و باشكوه توصیف شده است. در عهد كریم خان زند احتمالاً باغ ارم
در مالكیت سران سلسله زندیه بوده و مانند سایر ابنیه و باغ های شیراز مرمت گردیده است.
از اواخر دوره زندیه تقریباً بیش از هفتاد و پنج سال باغ ارم در تصاحب سران ایل قشقایی بود.
خاندان جانی خان قشقایی كه از دوره فتحعلی شاه قاجار با سمت ایلخانی و ایل بیگی بر ایل
قشقایی فرمانروایی میكردند، مدت مدیدی این باغ را در اختیار داشته و از آنجا به عنوان مقر
فرمانفرمایی خود در شهر شیراز استفاده میكردهاند. نخستین ایلخان این خاندان یعنی جانی خان
و پسرش محمد قلی خان عمارتی باشكوه در این باغ بنا نهادند. در اوایل دوره قاجاریه بعضی از
سران ایل قشقایی كه مالكین سابق باغ ارم بودهاند در گوشهای از این باغ به خاك سپرده شدهاند
كه در حال حاضر نشانی از این قبور در دست نیست. ساختمان عمارت این باغ در دوره ناصرالدین
شاه قاجار هنوز مرغوب و قابل توجه بوده است. در دوره سلطنت ناصرالدین شاه، حاج نصیرالملك
شیرازی باغ را از خاندان ایلخانی خریداری نموده و ساختمان فعلی موجود در باغ را به جای عمارت
ایلخانی بنا نمود ولی احتمالاً اساس ساختمان قبلی را حفظ كرده است. پس از درگذشت
حاج نصیرالملك در سال 1311 ه.ق تزئینات بنا و بعضی قسمت های ناتمام به وسیله
ابوالقاسم خان نصیرالملك، مالك این باغ اتمام یافته است.