usb: dwc3: exynos: Fix remove() function