Kayishema är en av de fyra personer som anses bära huvudansvar för att uppskattningsvis 800 000 människor mördades i Rwanda under våren 1994.
I ett uttalande kallar sydafrikansk polis Fulgence Kayishema för "en av världens mest eftersökta personer för folkmord".
FN:s generalsekreterare António Guterres talesperson framhåller att gripandet "sänder ett kraftfullt budskap om att de som anklagas för att ha begått sådana brott inte kan undgå rättvisa" och att de så småningom kommer att ställas till svars – "till och med mer än ett kvarts sekel senare", enligt ett uttalande.
Kayishema har varit på flykt sedan 2001.
Han tillsammans med andra ska ha mördat fler än 2 000 män, kvinnor och barn tillhörande minoritetsfolket tutsier, som tagit sin tillflykt i en katolsk kyrka.
Enligt polisen ska han ha deltagit direkt i planeringen och utförandet av massakern – bland annat genom att ha kört in en bulldozer i kyrkan.
Folkmordet i Rwanda leddes av extremnationalister ur majoritetsfolket hutu. De flesta offren tillhörde minoritetsfolket tutsier, men även hutuer som sågs som medlöpare mördades.