действовать на нервы

кому. Экспрес. Раздражать. Они действовали мне на нервы: я плохо спала по ночам (Куприна-Иорданская. Годы молодости).

Источник: Фразеологический словарь русского литературного языка на Gufo.me