我們?cè)趲缀跛械木幊陶Z(yǔ)言中都學(xué)習(xí)過(guò)循環(huán)。所以，默認(rèn)情況下，只要有重復(fù)性的操作，我們就會(huì)開(kāi)始實(shí)施循環(huán)。但是當(dāng)我們處理大量的迭代（數(shù)百萬(wàn)/數(shù)十億行）時(shí)，使用循環(huán)真是遭罪啊～，你可能會(huì)被卡住幾個(gè)小時(shí)，后來(lái)才意識(shí)到這是行不通的。這就是在Python中實(shí)現(xiàn)向量化變得超級(jí)關(guān)鍵的地方。

什么是向量化？

向量化是在數(shù)據(jù)集上實(shí)現(xiàn)（NumPy）數(shù)組操作的技術(shù)。在后臺(tái)，它對(duì)數(shù)組或系列的所有元素一次性進(jìn)行操作（不像"for"循環(huán)那樣一次操作一行）。

在這篇博客中，我們將看看一些用例，在這些用例中，我們可以很容易地用向量化代替Python循環(huán)。這將幫助你節(jié)省時(shí)間，并在編碼方面變得更加熟練。

(資料圖)

使用案例1:尋找數(shù)字的總和

首先，我們來(lái)看看一個(gè)基本的例子，即在Python中使用循環(huán)和向量來(lái)尋找數(shù)字的總和。

使用循環(huán)

import time start = time.time()# 遍歷之和total = 0# 遍歷150萬(wàn)個(gè)數(shù)字for item in range(0, 1500000):    total = total + itemprint("sum is:" + str(total))end = time.time()print(end - start)#1124999250000#0.14 Seconds

使用向量化

import numpy as npstart = time.time()# 向量化和--使用numpy進(jìn)行向量化# np.range創(chuàng)建從0到1499999的數(shù)字序列print(np.sum(np.arange(1500000)))end = time.time()print(end - start)##1124999250000##0.008 Seconds

與使用范圍函數(shù)的迭代相比，向量化的執(zhí)行時(shí)間約18倍。在使用Pandas DataFrame時(shí)，這種差異將變得更加明顯。

使用案例2:DataFrame數(shù)學(xué)運(yùn)算

在數(shù)據(jù)科學(xué)中，當(dāng)使用Pandas DataFrame時(shí)，開(kāi)發(fā)者會(huì)使用循環(huán)來(lái)創(chuàng)建新的數(shù)學(xué)運(yùn)算的派生列。

在下面的例子中，我們可以看到，在這樣的用例中，循環(huán)可以很容易地被向量化所取代。

創(chuàng)建DataFrame

DataFrame是以行和列的形式存在的表格數(shù)據(jù)。

我們正在創(chuàng)建一個(gè)有500萬(wàn)行和4列的pandas DataFrame，其中充滿(mǎn)了0到50之間的隨機(jī)值。

import numpy as npimport pandas as pddf = pd.DataFrame(np.random.randint(0, 50,                                     size=(5000000, 4)),                  columns=("a","b","c","d"))df.shape# (5000000, 5)df.head()

我們將創(chuàng)建一個(gè)新的列"ratio"，以找到列"d"和"c"的比率。

使用循環(huán)

import time start = time.time()# Iterating through DataFrame using iterrowsfor idx, row in df.iterrows():    # creating a new column     df.at[idx,"ratio"] = 100 * (row["d"] / row["c"])  end = time.time()print(end - start)### 109 Seconds

使用向量化

start = time.time()df["ratio"] = 100 * (df["d"] / df["c"])end = time.time()print(end - start)### 0.12 seconds

我們可以看到DataFrame有了明顯的改進(jìn)，與python中的循環(huán)相比，向量化幾乎快了1000倍。

使用案例3:DataFrame上If-else語(yǔ)句

我們實(shí)現(xiàn)了很多需要我們使用"if-else"類(lèi)型邏輯的操作。我們可以很容易地用python中的向量化操作代替這些邏輯。

看一下下面的例子來(lái)更好地理解它（我們將使用在用例2中創(chuàng)建的DataFrame）。

想象一下，如何根據(jù)退出的列"a"的一些條件來(lái)創(chuàng)建一個(gè)新的列"e"。

使用循環(huán)

import time start = time.time()# Iterating through DataFrame using iterrowsfor idx, row in df.iterrows():    if row.a == 0:        df.at[idx,"e"] = row.d        elif (row.a <= 25) & (row.a > 0):        df.at[idx,"e"] = (row.b)-(row.c)        else:        df.at[idx,"e"] = row.b + row.cend = time.time()print(end - start)### Time taken: 177 seconds

使用向量化

start = time.time()df["e"] = df["b"] + df["c"]df.loc[df["a"] <= 25, "e"] = df["b"] -df["c"]df.loc[df["a"]==0, "e"] = df["d"]end = time.time()print(end - start)## 0.28007707595825195 sec

與帶有if-else語(yǔ)句的python循環(huán)相比，向量化操作要比循環(huán)快600倍。

使用案例4:解決機(jī)器學(xué)習(xí)/深度學(xué)習(xí)網(wǎng)絡(luò)

深度學(xué)習(xí)要求我們解決多個(gè)復(fù)雜的方程，而且是針對(duì)數(shù)百萬(wàn)和數(shù)十億行的方程。在Python中運(yùn)行循環(huán)來(lái)解決這些方程是非常慢的，此時(shí)，向量化是最佳的解決方案。

例如，要計(jì)算以下多線(xiàn)性回歸方程中數(shù)百萬(wàn)行的y值。

我們可以用向量化代替循環(huán)。

m1,m2,m3...的值是通過(guò)使用對(duì)應(yīng)于x1,x2,x3...的數(shù)百萬(wàn)個(gè)值來(lái)解決上述方程而確定的（為了簡(jiǎn)單起見(jiàn)，只看一個(gè)簡(jiǎn)單的乘法步驟）

創(chuàng)建數(shù)據(jù)

>>> import numpy as np>>> # 設(shè)置 m 的初始值 >>> m = np.random.rand(1,5)array([[0.49976103, 0.33991827, 0.60596021, 0.78518515, 0.5540753]])>>> # 500萬(wàn)行的輸入值>>> x = np.random.rand(5000000,5)

使用循環(huán)

import numpy as npm = np.random.rand(1,5)x = np.random.rand(5000000,5)total = 0tic = time.process_time()for i in range(0,5000000):    total = 0    for j in range(0,5):        total = total + x[i][j]*m[0][j]             zer[i] = total toc = time.process_time()print ("Computation time = " + str((toc - tic)) + "seconds")####Computation time = 28.228 seconds

使用向量化

tic = time.process_time()#dot product np.dot(x,m.T) toc = time.process_time()print ("Computation time = " + str((toc - tic)) + "seconds")####Computation time = 0.107 seconds

np.dot在后端實(shí)現(xiàn)了向量的矩陣乘法。與python中的循環(huán)相比，它的速度提高了165倍。

寫(xiě)在最后

Python中的向量化是非?？斓?，當(dāng)在處理非常大的數(shù)據(jù)集時(shí)，建議你應(yīng)該優(yōu)先考慮向量化而不是循環(huán)。這樣，隨著時(shí)間的推移，你會(huì)逐漸習(xí)慣于按照向量化的思路來(lái)編寫(xiě)代碼。

關(guān)鍵詞： 一個(gè)新的 變得更加 可能會(huì)被 的形式存在的 執(zhí)行時(shí)間