Εύκολη καρυδόπιτα με φρυγανιά

200 ml λάδι (1 ποτήρι) 150 γρ. ζάχαρη (¾ ποτηριού) 250 ml γάλα φρέσκο (1 ποτήρι) 150 γρ. φρυγανιά (από μπαγιάτικο ψωμί) (1 ποτήρι) 4 αυγά 1 βανίλια 8 γρ. μπέικιν πάουντερ (2 κ.γ.) 20 ml κονιάκ (1 κ.σ.) 20 ml ροδόσταγμα (1 κ.σ.) 3 γρ. κανέλα Κεϋλάνης (1 κ.γ.) 120 γρ. καρύδια ψιλοκομμένα (1 ποτήρι)

Για το σιρόπι

300 γρ. ζάχαρη (1 ½ ποτήρι) 300 ml νερό (1 ½ ποτήρι) λίγες σταγόνες λεμόνι

Για το σερβίρισμα:

Χοντροκομμένα καρύδια Παγωτό βανίλια Γλυκο του κουταλιού καρυδάκι