物理系办学始于1978年，1984年建系，是吕梁学院最早建立的教学系之一。现有教职工63人，其中专任教师50人，具有高级职称教师16人；拥有博士学位教师16人，在读博士9人，硕士32人；聘请中北大学教授、博士生导师担任学术院长、特聘教学名师各1名。现设置物理学、电子信息工程两个专业，在校生1200余人。

系部秉持学校“吕梁精神立德，大实践体系强技”人才培养特色，加强应用型人才培养，与省内外数十家企业、中学建立实习就业基地，与北京芯愿景有限公司（太原）合作共建“集成电路产业学院”。拥有实验实训室建筑面积3296平方米，设备总额1300余万元。建成省级实验教学示范中心1个，建有电工电子实验中心、大学物理实验中心、近代物理实验中心、电子信息实验中心和集成电路实验室等46个实验实训室。

近年来，教师先后承担省级教改、科研项目60余项，指导省级大学生创新实验项目80余项，发表省级以上论文400余篇，出版论著、教材20余部。学生在“全国大学生电子设计竞赛”“全国学生无线电测向锦标赛”“全国大学生物理教学技能大赛”等竞赛中多次获国家级和省级奖项。