非法吸收公众存款罪，是指未经金融管理部门批准，擅自以吸收公众存款的方式，承诺还本付息或者给付回报，非法吸收公众资金，扰乱金融秩序的行为。对于退赃问题，可以从以下几个方面进行分析：
1. 法律责任：根据《刑法》第一百七十六条的规定，犯非法吸收公众存款罪的，数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处二万元以上二十万元以下罚金。犯罪分子应当承担相应的刑事责任，退赃是刑罚执行的一部分，可以作为酌定量刑的情节。
2. 退赃态度：退赃在量刑时会被视为悔罪表现，可能减轻处罚。根据《最高人民法院关于审理诈骗案件具体应用法律若干问题的解释》的规定，退赃的，可以酌情从轻处罚。
3. 追缴程序：非法所得财物属于犯罪违法所得，司法机关有权予以追缴。如果犯罪分子能够主动退赃，司法机关会依法进行接收并上缴国库。退赃有助于减少社会危害性。
4. 赔偿受害人：退赃不仅是对国家财产的恢复，也是对受害人的经济补偿。对于被害人的损失，法院在判决时可能会考虑退赃情况来确定赔偿数额。
5. 刑事附带民事诉讼：受害人有权提起刑事附带民事诉讼，要求犯罪分子返还非法所得。犯罪分子如能退赃，可作为赔偿的一部分或全部。
总结：非法吸收公众存款罪的退赃行为，虽然不能免除刑事责任，但在量刑时会被视为积极悔罪的表现，有助于减轻处罚。同时，退赃还有助于追回国家财产和赔偿受害人损失。但需要注意的是，退赃并不能改变犯罪事实，只是在法律后果上有所减轻。因此，犯罪分子应积极配合司法机关的工作，尽早退赃。
