Omröstningen i Calgary hölls efter en infekterad debatt om ansökningens vara eller inte som pågått i flera månader. Över 300000 personer röstade och nej-sidan fick 56,4 procent av rösterna enligt det inofficiella resultatet.
"Resultatet var inte överraskande på grund av de politiska diskussionerna och osäkerheten som funnits", säger IOK i en kommentar.
"Det är en besvikelse att argumenten om de sportsliga, sociala och långsiktiga fördelarna inte fick opinionen att vända."
Även om folkomröstningen inte är bindande har de styrande i Calgary lovat att följa resultatet. Och kampanjledningen har gett upp.
"Nu ska vi fråga oss vad vi lärt oss och fortsätta att fundera på vad vår nästa dröm blir och vilket nästa projekt som ska inspirera oss", säger kampanjordföranden Scott Hutcheson i ett uttalande.
Efter Calgarys nej finns bara två städer kvar som kandidater som värd för OS och Paralympics 2026 – Stockholm och Milano-Cortina d'Ampezzo i Italien.
"Vi fortsätter med vårt samarbete med dem för att se till att få den bästa möjliga värden för vinterspelen 2026", säger IOK.
Tidigare har intressenterna Sion, Sapporo och Graz tackat nej och Erzerum har fått nej från IOK.
Fakta: Så fortsätter kandidatprocessen
11 januari: Sista datum för att lämna in OS-ansökan med bärande garantier, exempelvis statlig säkerhetsgaranti.
Februari–april: IOK-representanter besöker och värderar slutkandidaterna.
12 april: Sista datum för en fullständig OS-ansökan.
Maj–juni: IOK utvärderar kandidaterna som i sin tur får ge svar och motivera sina ansökningar.
23 juni: OS-värden för 2026 presenteras i Lausanne, Schweiz.