на свободных началах

Устар. Не оформляя отношения юридически, не вступая в законный брак. Было у него… увлечение одно: сошёлся с одной девушкой, и тоже на свободных началах. Дали взаимное слово «не связывать друг друга» (Короленко. Не страшное).

Источник: Фразеологический словарь русского литературного языка на Gufo.me