с одной стороны — с другой стороны

Ср. Нет бессмертия души, так нет и добродетели, "значит, все позволено"... Соблазнительная теория подлецам... Хвастунишка, а суть-то вся: с одной стороны, нельзя не признаться, а с другой — нельзя не сознаться.

Достоевский. Братья Карамазовы. 1, 2, 7.

Ср. Написали вы довольно, только, признаться, не очень нравится мне! Порядку нет! Вот я давеча газету читал, так там все чередом сказано: с одной стороны, нельзя не сознаться, с другой — надо признаться, а в то же время не следует упускать из вида... Вот это — хорошо!

Салтыков. Дневник провинциала. 8.

См. трудно не сознаться, однако надо признаться.