Acabei de perceber que a palavra "rápido" é muito serial. Quando você pode fazer uma coisa de cada vez, a latência (quão rápido você é) determina a taxa de transferência. Mas com o paralelismo, a taxa de transferência é dissociada da latência. Por exemplo, uma empresa que vende uísque de 12 anos tem alta latência, mas alto rendimento, que você pode fazer lotes infinitos por ano. E se você fizer um lote todos os anos, depois de 12 anos poderá vender muito todos os anos. E isso é chamado de pipelining.
513