از خاندان و تحصیلات و زندگی بابا طاهر اطلاعات صحیحی در دسترس نیست اما بنا به نوشته راوندی در راحةالصدور، بابا طاهر در سال ۴۴۷ هجری با طغرل سلجوقی دیدار کرده و مورد احترام او نیز قرار گرفته‌است. در یکی از دوبیتی‌های مشهورش سال تولدش را به حروف ابجد گنجانیده که پس از محاسبه توسط میرزا مهدی خان کوکب به سال ۳۲۶ هجری رسیده‌است. او پس از ۸۵ سال زندگی وفات یافته‌است.در شهر خرم‌آباد بنایی به نام بقعه باباطاهر وجود دارد که به اعتقاد برخی زادگاه بابا طاهر است.آرامگاه وی در شمال شهر همدان در میدان بزرگی به نام وی قرار دارد. بنای مقبره بابا طاهر در گذشته چندین بار بازسازی شده‌است. در قرن ششم هجری برجی آجری و هشت ضلعی بوده‌است. در دوران حکومت رضاخان پهلوی نیز بنای آجری دیگری به جای آن ساخته شده بود. درجریان این بازسازی لوح کاشی فیروزه‌ای رنگی مربوط به سده هفتم هجری بدست آمد که دارای کتیبه‌ای به خط کوفی برجسته و آیاتی از قرآن است و هم اکنون در موزه ایران باستان نگهداری می‌شود. احداث بنای جدید در سال ۱۳۴۴ خورشیدی با همت انجمن آثار ملی و شهرداری وقت همدان و توسط مهندس محسن فروغی انجام شده‌است. این بنای تاریخی طی شمار ۱۷۸۰ مورخه ۲۱/۲/۱۳۷۶ به ثبت آثار تاریخی و ملی ایران رسیده‌است. در اطراف بنای جدید فضای سبز وسیعی احداث شده ‌است.