Mannen har gripits i Ottawa och riskerar åtal bland annat för sexuella övergrepp och olaga frihetsberövande.
Kanadensaren Joshua Boyle och amerikanska Caitlan Coleman, då gravid i sjunde månaden, kidnappades av talibaner under en resa i Afghanistan 2012.
Familjen med två vuxna och tre små barn födda i fångenskap fritogs i oktober under dramatiska förhållanden i gränsområdet i Pakistan, och återvände senare till Kanada.
Nu misstänks 34-årige Joshua Boyle på femton punkter, bland annat åtta fall av övergrepp. Han ska också ha uttalat dödshot och agerat vilseledande mot polisen.
"Är oskyldig"
Offrens namn, två personer, har av domstol belagts med sekretess, enligt tv-kanalen CBC. Boyles advokat Eric Granger säger att Boyle är oskyldig.
Boyle framträdde i rätten i Ottawa via videolänk på onsdagen. Nästa förhandling hålls den 8 januari. Han greps den 30 december, och enligt CBC har de misstänkta brotten skett efter att familjen återkom till Kanada.
Hans fru säger i ett uttalande till tidningen The Toronto Star att hon och barnen är i gott tillstånd och vill inte kommentera misstankarna annat än att orsakerna går att hitta i "det trauma han var tvungen att uthärda i så många år".
Fallet med den kidnappade familjen och fritagningen i Pakistan har uppmärksammats stort i Kanada och USA. Tillbaka på kanadensisk mark sade Boyle att talibanerna våldtagit hans fru och mördat ett spädbarn som fötts under fångenskapen.
Förra månaden träffade familjen den kanadensiske premiärministern Justin Trudeau på hans kontor. Bilder på Twitter visar Trudeau med parets yngsta barn i famnen. Han har sagt att det inte går att föreställa sig vad familjen har gått igenom, rapporterar Reuters.
Uppmärksammad bakgrund
Joshua Boyle har berättat att de under fångenskapen fått höra en mängd olika förklaringar till varför de kidnappades av talibannätverket Haqqani från byn de vistades i för fem år sedan.
I ett kort tidigare äktenskap var Boyle gift med en nu frigiven Guantánamofånges syster, som är dotter till en, nu avliden, högt uppsatt person inom terrorgruppen al-Qaida.
Talibanerna har förnekat mord på spädbarnet och sagt att dödsfallet var ett missfall.