фиг с ним (с тобой и т. п.)

Грубо-прост. Полностью, совершенно утрачен интерес к кому-либо или чему-либо. — А я и не говорю ничего. Что теперь говорить-то? Главное, чтобы совесть была чиста. Но в данном случае совесть вообще ни при чём. Кто он тебе? Брат? Сват? Никто. Чужой мужик, да и слепой ещё, фиг с ним (Н. Евдокимов. Сёстры).