только пыль столбом

Прост. Экспрес. Очень быстро убежать, уехать. — Митька! Зачем по реке босиком ходишь? На — обуйся… Он как порскнёт от меня, только пыль столбом (А. Иванов. Митька). — Где ж он теперь живёт, не знаете? — Ищи вихря в поле! На почтовых куда-то поскакал. Только пыль столбом (М. Вовчок. Живая душа).

Источник: Фразеологический словарь русского литературного языка на Gufo.me