Olá Larissa, tudo bem?
Sim, a regra geral é que o sindicato aplicável seja definido pela atividade preponderante da empresa, conforme o artigo 581 da CLT. No entanto, é possível que a empresa siga mais de uma convenção coletiva quando possui empregados de categorias diferenciadas.
Nesse caso, mesmo que a atividade principal da empresa esteja vinculada ao sindicato do comércio ou da construção civil, os motoristas, por exemplo, podem ter uma convenção própria, desde que haja um sindicato específico para essa função.
Portanto, adotar convenções diferentes pode estar correto, desde que cada grupo de trabalhadores esteja devidamente enquadrado em sua respectiva categoria e sindicato representativo.
Espero ter ajudado.