Efter 1–1 mot Spanien och 0–1 mot Brasilien i mars, fick de tyska världsmästarna återigen gå av en fotbollsplan utan att ha vunnit en match i år.
Österrike tog sin första seger mot sitt grannland sedan 1986 och istället för svar på sina frågor fick förbundskapten Joachim Löw en hel del nya funderingar att ta ställning till.
Målvakten Manuel Neuer gjorde comeback i det tyska landslaget efter att ha varit borta sedan i september i fjol på grund av en fotskada.
Neuer gjorde några viktiga räddningar, men det återstår att se om Löw vågar chansa på en matchotränad målvakt som förstaval i VM. Den slutgiltiga truppen måste lämnas in på måndag.
Tyskland kom till spel utan flera av sina stjärnor som väntas spela en stor roll i VM, däribland försvararna Jerome Boateng och Mats Hummels samt mittfältarna Toni Kroos och Thomas Müller.
Tyskland tog ändå planenligt ledningen redan efter tio minuter sedan Mesut Özil snappat upp en misslyckad rensning från målvakten Jörg Siebenhandl och enkelt kunde prickskjuta in 1–0. Men den tyska dominansen avtog och matchbilden förändrades helt efter halvtid.
Istället tog Österrike över. Bayern München-stjärnan David Alaba styrde mycket av Österrikes spel och låg bland annat bakom en hörna på vilken Martin Hinteregger helt omarkerad kunde kvittera.
Nästan tio minuter senare rullade österrikarna upp det tyska försvaret och Alessandro Schöpf kunde skjuta in segermålet.
Tysklands sista match inför VM spelas den 8 juni mot Saudiarabien i Leverkusen. Sverige möter Tyskland i VM på midsommardagen 23 juni i Sotji.