Olá, bom dia!
A retenção de INSS vai ocorrer sempre que tiver disponibilização de mão de obra para o local. Neste caso, não há como evitar.
Mas, se por exemplo, essa empresa faça um serviço de projeto dentro do próprio escritório, neste caso, você não precisaria reter o INSS, visto que não foi disponibilizado uma mão de obra para o referido local.
Basicamente é essa a linha de raciocínio.
Temos dois cursos que falam sobre o assunto:
https://alunos.contabilidadefacilitada.com/199598-setor-fiscal-da-construcao-civil
Espero ter ajudado.