Uit eten met familie

ik heb al een tijdje kennis aan een leuke man. Hij is aardig en ik denk dat hij verliefd op mij is…(ik inmiddels ook op hem). Zijn gedrag wijst zeer sterk in die richting.
Aan de andere kant is het een wat vreemde situatie en heb ik een dubbel gevoel naar alles.
Zo is hij erg afstandelijk naar mij in de zin van intimiteit, terwijl hij zegt eerder een vriendin gehad te hebben…dus ik neem aan dat hij weet wat intiem zijn is?…..
Hij vindt het blijkbaar doodeng dat ik te dicht bij hem kom, ik weet het niet. 
Zo vraagt hij mij nooit om bij hem thuis te komen (hij heeft een eigen huis) of bijv. samen eten.
Kortom hij wil voorkomen dat wij samen zijn. Ik merkte wel dat hij erg zenuwachtig en nerveus begon te praten toen ik hem ineens belde (notabene op zijn advies want appen was wat lastig).
 Het meest vreemde vind ik nog wel dat hij blijkbaar wel met zijn nichten uit eten gaat. Hij heeft het naar mij toe ook continu over zijn tantes, nichten etc..alsof er geen mannen verder zijn die er wel degelijk zijn. Is dat omdat dat dan veilig is? 
Wat moet ik met deze situatie?