非法吸收公众存款罪是指金融机构或者非金融机构违反国家金融管理法规，通过各种方式吸收公众存款，且数额较大，扰乱金融秩序的行为。如果犯罪行为人确实有返赃的情况，其处理和法律责任将根据以下五个方面进行分析：
1. 犯罪事实与证据首先，公安机关或检察院需要有足够的证据证明被告人确实实施了非法吸收公众存款的行为，并且有返赃的事实。这通常包括银行流水、转账记录、证人证言等。《刑法》第176条对此有明确规定：“非法吸收公众存款或者变相吸收公众存款，数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处二万元以上二十万元以下罚金。”
2. 返赃金额与比例返赃金额的多少直接影响到刑事责任的轻重。如果返赃比例较高，说明被告人有一定的悔过表现，可能在量刑时予以考虑。但需要注意的是，返赃并不能成为减轻犯罪情节的唯一依据，还需要结合其他因素。
3. 返还意愿与过程被告人的返还意愿和实际返还情况也是重要因素。如果被告人主动返还，且能证明其是为了减少损失而并非出于法律义务，这可能有助于减轻处罚。然而，若是在被司法机关追诉后才返还，可能会视为逃避责任。
4. 受害人损失与赔偿被告人的返赃行为是否足以弥补受害人的损失也会影响判断。根据《刑法》第36条，犯罪分子应当退赔被害人的经济损失。如果返赃不足以全额赔偿，可能需要继续承担民事赔偿责任。
5. 认罪态度与悔罪表现被告人对犯罪的认识程度，以及是否有真诚的悔罪表现，法院在量刑时会予以考量。如果被告人能够认识到自己的错误，并积极改正，可能会得到酌情从轻处理。
总结来说，非法吸收公众存款罪的返赃情况在量刑时会被作为酌定量刑的情节之一，但最终的判决还需综合考虑犯罪事实、返赃比例、受害人的损失等多个因素，严格按照法律规定进行。同时，被告人应该意识到，即使返赃也不能逃避刑事责任，必须承担相应的法律责任。
