кайка-то есть, да воротки-то нет

(иноск.) — каемся да продолжаем грешить, не сворачивая с пути

Ср. Привыкла собака за возом бежать — бежит и за санями — а седина в бороду... и договаривать не надо — старая пословица! Кайка-то есть у нас, у всех, да воротки нету.

Даль. Отец с сыном.

Источник: Толково-фразеологический словарь Михельсона на Gufo.me