Nemáš pravdu. Matematiku můžeš využívat zcela samostatně, můžeš ji studovat roky, aniž bys znal cokoliv z fyziky či jiných technických předmětů. Naopak to ale neplatí, fyziku bez znalosti matematiky studovat nemůžeš.
I u těch základů fyziky potřebuješ matematiku, i když samozřejmě na odpovídající (nízké) úrovni, nemusíš znát derivace, integrály, matice, ...