Можно ли вернуть налоговый вычет, если купить квартиру у брата: подробности и нюансы сделки?

Нет

При покупке квартиры у родственников (взаимозависимых лиц) получить вычет не получится. К таким лицам относятся: физическое лицо, его супруг (супруга), родители (в том числе усыновители), дети (в том числе усыновленные), полнородные и неполнородные братья и сестры, опекун (попечитель) и подопечный.

Мама купила у меня и нам отказали

Нет . Не сможете