Det är elfte gången som Ryssland använder sin vetorätt i säkerhetsrådet för att stoppa åtgärder mot Syrien.
Sveriges FN-ambassadör Olof Skoog begärde efter omröstningen samtal bakom stängda dörrar "för att försäkra oss om att vi är helt övertygade om att vi har uttömt alla vägar, alla ansträngningar", innan utredningens mandat går ut vid midnatt lokal tid.
Efter ett kort möte säger Italiens FN-ambassadör Sebasiano Cardi att rådet "kommer att fortsätta att arbeta konstruktivt de närmaste timmarna och dagarna för att hitta en gemensam ståndpunkt".
"Grundläggande fel"
Rysslands FN-ambassadör sade tidigare under fredagen till rådet att utredningens mandat bara kan förlängas om "grundläggande fel i dess arbete" åtgärdas. Enligt honom har utredarna "fastställt grundlösa anklagelser mot Syrien".
Ryssland godkände för två år sedan att utredningen skulle inledas, men har sedan konsekvent ifrågasatt dess arbete och slutsatser.
I och med Rysslands veto faller Japans förslag om att förlänga utredningen med 30 dagar. Förslaget kom efter att Ryssland lagt sitt veto mot ett amerikanskt förslag om att förlänga utredningens mandat med ett år. Vita huset säger i ett uttalande att Rysslands veto sänder ett "tydligt meddelande" om att Moskva inte värdesätter offrens liv.
- Rysslands agerande i dag och de senaste veckorna syftar till att försena, distrahera och slutligen omintetgöra försöken att säkerställa att ansvar krävs för kemgasattacken i Syrien, säger USA:s FN-sändebud Nikki Haley.
Syrien nekar
En resolution behöver nio ja-röster och inget veto från USA, Frankrike, Ryssland, Storbritannien eller Kina för att antas.
Den gemensamma utredningen drivs av FN och Organisationen för förbud mot kemiska vapen (OPCW).
OPCW har tidigare kommit fram till att nervgiftet sarin använts av den syriska staten i attacken där över 80 människor dödades, många av dem barn. Syrien nekar till anklagelserna och Ryssland hävdar att syriska flygplan bombade en byggnad där IS-rebeller förvarade kemvapen.