Тем же концом да по тому же месту

Другими словами: я сказал бы в ваш адрес то же, что и вы только что произнесли в мой. Чаще всего не имеет негативного оттенка.