Anticamente si chiamava Castel Dho. Nel 1260 ebbe diversi passaggi fra i Conti di Ventimiglia che lo cedettero poi a Genova e dipese dalla podesteria di Triora. Gli abitanti, liberatisi dagli obblighi cui erano soggetti con i Ventimiglia, dimostrarono la loro soddisfazione col mutamento del nome in Castelfranco. Nel 1625, Castelfranco venne assediato dalle truppe del duca di Savoia. Alla caduta di Napoleone, il Re di Sardegna tornò a dominare la Val Nervia. Nel 1862, per onorare Casa Savoia o in particolare V ittorio Emanuele II°, il paese assunse l'attuale nome di Castelvittorio