用户的问题主要关注的是涉及非法吸收公众存款罪的行为人是否能够退还所吸收的公众存款，以及相关的法律规定和可能的影响因素。以下是五个方面的详细分析：
1. 法律规定：
根据《中华人民共和国刑法》第一百七十六条的规定，“非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金。”同时，《最高人民法院关于审理非法集资刑事案件具体应用法律若干问题的解释》第五条也指出，犯罪分子应当退赔集资参与人的损失。
2. 退款责任：
非法吸收公众存款的主体负有退还存款的责任。在刑事诉讼过程中，法院会判决犯罪分子将非法所得退还给受害者，即公众存款人。如未能主动退还，可通过追缴程序强制执行。
3. 追赃与退赔：
在司法实践中，公安机关、检察院及法院会在侦查、起诉和审判阶段积极追查涉案款项，尽力为受害人挽回经济损失。根据《刑事诉讼法》第二百七十一条规定：“对于被害人的合法财产，应当及时返还。”
4. 涉案资产处置：
如犯罪嫌疑人或被告人已经挥霍、转移或者隐匿了非法所得，依据《刑法》第六十四条和相关司法解释，可依法对其其他财产进行查封、扣押、冻结并予以追缴，用于赔偿受害人的损失。
5. 影响退款的因素：
实际退款情况受多种因素影响，包括但不限于：(1) 被告人的经济状况，能否实际履行退赔义务；(2) 所涉资金流向及追缴程度；(3) 受害人数众多时，如何公平合理地分配退还款项；(4) 刑事案件诉讼期限内的权利主张。
综上所述，在非法吸收公众存款罪案件中，被告方确实存在法定的退款义务。然而，实际退款的效果受到多种因素制约，需要通过司法机关的努力以及合理运用法律规定来最大程度保护受害人的合法权益。
