與 SAS 比較#
對於來自 SAS 的潛在使用者，此頁面旨在說明在 pandas 中如何執行不同的 SAS 作業。
如果您是 pandas 新手，您可能想要先閱讀 10 分鐘學會 pandas，以熟悉此函式庫。
根據慣例，我們匯入 pandas 和 NumPy，如下所示
In [1]: import pandas as pd
In [2]: import numpy as np
資料結構#
一般術語翻譯#
pandas |
SAS |
|---|---|
|
資料集 |
欄 |
變數 |
列 |
觀測值 |
groupby |
BY 群組 |
|
|
DataFrame#
pandas 中的 DataFrame 類似於 SAS 資料集，是一個具有標籤欄的二維資料來源，欄位可以是不同的類型。正如本文檔中所示，幾乎任何可以使用 SAS 的 DATA 步驟套用於資料集的作業，也可以在 pandas 中完成。
Series#
一個 Series 是代表 DataFrame 一欄的資料結構。SAS 沒有單一欄位個別的資料結構，但一般來說，使用 Series 類似於在 DATA 步驟中參照 DataFrame 中的欄位。
Index#
每個 DataFrame 和 Series 都有 Index - 這是資料的列標籤。SAS 沒有完全類似的概念。資料集的列基本上沒有標籤，除了隱含的整數索引，可以在 DATA 步驟中存取 (_N_)。
在 pandas 中，如果沒有指定索引，預設也會使用整數索引（第一列 = 0，第二列 = 1，以此類推）。使用標籤的 Index 或 MultiIndex 可以進行複雜的分析，而且最終是了解 pandas 的重要部分，但針對此比較，我們基本上會忽略 Index，並將 DataFrame 視為欄位的集合。請參閱 索引文件，以進一步了解如何有效使用 Index。
複製與原地操作#
大多數的 pandas 操作會傳回 Series/DataFrame 的副本。若要讓變更「生效」，您需要指派給新變數
sorted_df = df.sort_values("col1")
或覆寫原始變數
df = df.sort_values("col1")
注意
您會看到 inplace=True 或 copy=False 關鍵字參數可用於某些方法
df.replace(5, inplace=True)
有一個積極的討論，關於棄用並移除 inplace 和 copy 對於大多數的方法（例如 dropna），除了少數的方法（包括 replace）。在寫入時複製語境中，兩個關鍵字都不再必要。提案可以在 這裡 找到。
資料輸入/輸出#
從值建立 DataFrame#
SAS 資料集可以透過在 datalines 陳述式後放置資料並指定欄位名稱來建立。
data df;
input x y;
datalines;
1 2
3 4
5 6
;
run;
pandas DataFrame 可以用許多不同的方式建立，但對於少數值，通常方便將其指定為 Python 字典，其中鍵是欄位名稱，而值是資料。
In [1]: df = pd.DataFrame({"x": [1, 3, 5], "y": [2, 4, 6]})
In [2]: df
Out[2]:
x y
0 1 2
1 3 4
2 5 6
讀取外部資料#
與 SAS 類似，pandas 提供了從許多格式讀取資料的公用程式。tips 資料集位於 pandas 測試中 (csv)，將會用於許多以下範例。
SAS 提供 PROC IMPORT 來將 csv 資料讀取到資料集中。
proc import datafile='tips.csv' dbms=csv out=tips replace;
getnames=yes;
run;
pandas 方法是 read_csv()，其運作方式類似。
In [3]: url = (
...: "https://raw.githubusercontent.com/pandas-dev/"
...: "pandas/main/pandas/tests/io/data/csv/tips.csv"
...: )
...:
In [4]: tips = pd.read_csv(url)
In [5]: tips
Out[5]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 29.03 5.92 Male No Sat Dinner 3
240 27.18 2.00 Female Yes Sat Dinner 2
241 22.67 2.00 Male Yes Sat Dinner 2
242 17.82 1.75 Male No Sat Dinner 2
243 18.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
與 PROC IMPORT 類似，read_csv 可以採用許多參數來指定資料的剖析方式。例如，如果資料改為以 tab 分隔，且沒有欄位名稱，pandas 指令會是
tips = pd.read_csv("tips.csv", sep="\t", header=None)
# alternatively, read_table is an alias to read_csv with tab delimiter
tips = pd.read_table("tips.csv", header=None)
除了文字/csv 之外，pandas 還支援各種其他資料格式，例如 Excel、HDF5 和 SQL 資料庫。這些全部都透過 pd.read_* 函數來讀取。請參閱 IO 文件 以取得更多詳細資料。
限制輸出#
預設情況下，pandas 會將大型 DataFrame 的輸出截斷，以顯示第一行和最後一行。這可以用 變更 pandas 選項，或使用 DataFrame.head() 或 DataFrame.tail() 來覆寫。
In [1]: tips.head(5)
Out[1]:
total_bill tip sex smoker day time size
0 16.99 1.01 Female No Sun Dinner 2
1 10.34 1.66 Male No Sun Dinner 3
2 21.01 3.50 Male No Sun Dinner 3
3 23.68 3.31 Male No Sun Dinner 2
4 24.59 3.61 Female No Sun Dinner 4
SAS 中的等效方式為
proc print data=df(obs=5);
run;
匯出資料#
SAS 中 PROC IMPORT 的反向操作是 PROC EXPORT
proc export data=tips outfile='tips2.csv' dbms=csv;
run;
類似地，在 pandas 中，read_csv 的反向操作是 to_csv()，其他資料格式遵循類似的 API。
tips.to_csv("tips2.csv")
資料運算#
欄位運算#
在 DATA 步驟中，可以在新的或現有的欄位上使用任意數學運算式。
data tips;
set tips;
total_bill = total_bill - 2;
new_bill = total_bill / 2;
run;
pandas 透過在 DataFrame 中指定個別 Series 來提供向量化操作。新欄位也可以用相同方式指定。 DataFrame.drop() 方法會從 DataFrame 中刪除一個欄位。
In [1]: tips["total_bill"] = tips["total_bill"] - 2
In [2]: tips["new_bill"] = tips["total_bill"] / 2
In [3]: tips
Out[3]:
total_bill tip sex smoker day time size new_bill
0 14.99 1.01 Female No Sun Dinner 2 7.495
1 8.34 1.66 Male No Sun Dinner 3 4.170
2 19.01 3.50 Male No Sun Dinner 3 9.505
3 21.68 3.31 Male No Sun Dinner 2 10.840
4 22.59 3.61 Female No Sun Dinner 4 11.295
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 13.515
240 25.18 2.00 Female Yes Sat Dinner 2 12.590
241 20.67 2.00 Male Yes Sat Dinner 2 10.335
242 15.82 1.75 Male No Sat Dinner 2 7.910
243 16.78 3.00 Female No Thur Dinner 2 8.390
[244 rows x 8 columns]
In [4]: tips = tips.drop("new_bill", axis=1)
篩選#
SAS 中的篩選是使用 if 或 where 陳述式，針對一個或多個欄位。
data tips;
set tips;
if total_bill > 10;
run;
data tips;
set tips;
where total_bill > 10;
/* equivalent in this case - where happens before the
DATA step begins and can also be used in PROC statements */
run;
資料框可以用多種方式篩選；最直覺的方式是使用 布林索引。
In [1]: tips[tips["total_bill"] > 10]
Out[1]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
5 23.29 4.71 Male No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[204 rows x 7 columns]
上述陳述式只是將 Series 的 True/False 物件傳遞到資料框，傳回所有具有 True 的列。
In [2]: is_dinner = tips["time"] == "Dinner"
In [3]: is_dinner
Out[3]:
0 True
1 True
2 True
3 True
4 True
...
239 True
240 True
241 True
242 True
243 True
Name: time, Length: 244, dtype: bool
In [4]: is_dinner.value_counts()
Out[4]:
time
True 176
False 68
Name: count, dtype: int64
In [5]: tips[is_dinner]
Out[5]:
total_bill tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[176 rows x 7 columns]
如果/然後邏輯#
在 SAS 中，如果/然後邏輯可以用來建立新欄位。
data tips;
set tips;
format bucket $4.;
if total_bill < 10 then bucket = 'low';
else bucket = 'high';
run;
在 pandas 中，可以使用 numpy 的 where 方法來執行相同的操作。
In [1]: tips["bucket"] = np.where(tips["total_bill"] < 10, "low", "high")
In [2]: tips
Out[2]:
total_bill tip sex smoker day time size bucket
0 14.99 1.01 Female No Sun Dinner 2 high
1 8.34 1.66 Male No Sun Dinner 3 low
2 19.01 3.50 Male No Sun Dinner 3 high
3 21.68 3.31 Male No Sun Dinner 2 high
4 22.59 3.61 Female No Sun Dinner 4 high
.. ... ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3 high
240 25.18 2.00 Female Yes Sat Dinner 2 high
241 20.67 2.00 Male Yes Sat Dinner 2 high
242 15.82 1.75 Male No Sat Dinner 2 high
243 16.78 3.00 Female No Thur Dinner 2 high
[244 rows x 8 columns]
日期功能#
SAS 提供各種功能來對日期/日期時間欄位執行操作。
data tips;
set tips;
format date1 date2 date1_plusmonth mmddyy10.;
date1 = mdy(1, 15, 2013);
date2 = mdy(2, 15, 2015);
date1_year = year(date1);
date2_month = month(date2);
* shift date to beginning of next interval;
date1_next = intnx('MONTH', date1, 1);
* count intervals between dates;
months_between = intck('MONTH', date1, date2);
run;
等效的 pandas 操作如下所示。除了這些功能外，pandas 還支援 Base SAS 中沒有的其他時間序列功能（例如重新取樣和自訂偏移）－請參閱 時間序列文件 以取得更多詳細資料。
In [1]: tips["date1"] = pd.Timestamp("2013-01-15")
In [2]: tips["date2"] = pd.Timestamp("2015-02-15")
In [3]: tips["date1_year"] = tips["date1"].dt.year
In [4]: tips["date2_month"] = tips["date2"].dt.month
In [5]: tips["date1_next"] = tips["date1"] + pd.offsets.MonthBegin()
In [6]: tips["months_between"] = tips["date2"].dt.to_period("M") - tips[
...: "date1"
...: ].dt.to_period("M")
...:
In [7]: tips[
...: ["date1", "date2", "date1_year", "date2_month", "date1_next", "months_between"]
...: ]
...:
Out[7]:
date1 date2 date1_year date2_month date1_next months_between
0 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
1 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
2 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
3 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
4 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
.. ... ... ... ... ... ...
239 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
240 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
241 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
242 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
243 2013-01-15 2015-02-15 2013 2 2013-02-01 <25 * MonthEnds>
[244 rows x 6 columns]
欄位選取#
SAS 在 DATA 步驟中提供關鍵字來選取、刪除和重新命名欄位。
data tips;
set tips;
keep sex total_bill tip;
run;
data tips;
set tips;
drop sex;
run;
data tips;
set tips;
rename total_bill=total_bill_2;
run;
以下用 pandas 表達相同的操作。
保留特定欄位#
In [1]: tips[["sex", "total_bill", "tip"]]
Out[1]:
sex total_bill tip
0 Female 14.99 1.01
1 Male 8.34 1.66
2 Male 19.01 3.50
3 Male 21.68 3.31
4 Female 22.59 3.61
.. ... ... ...
239 Male 27.03 5.92
240 Female 25.18 2.00
241 Male 20.67 2.00
242 Male 15.82 1.75
243 Female 16.78 3.00
[244 rows x 3 columns]
刪除欄位#
In [2]: tips.drop("sex", axis=1)
Out[2]:
total_bill tip smoker day time size
0 14.99 1.01 No Sun Dinner 2
1 8.34 1.66 No Sun Dinner 3
2 19.01 3.50 No Sun Dinner 3
3 21.68 3.31 No Sun Dinner 2
4 22.59 3.61 No Sun Dinner 4
.. ... ... ... ... ... ...
239 27.03 5.92 No Sat Dinner 3
240 25.18 2.00 Yes Sat Dinner 2
241 20.67 2.00 Yes Sat Dinner 2
242 15.82 1.75 No Sat Dinner 2
243 16.78 3.00 No Thur Dinner 2
[244 rows x 6 columns]
重新命名欄位#
In [3]: tips.rename(columns={"total_bill": "total_bill_2"})
Out[3]:
total_bill_2 tip sex smoker day time size
0 14.99 1.01 Female No Sun Dinner 2
1 8.34 1.66 Male No Sun Dinner 3
2 19.01 3.50 Male No Sun Dinner 3
3 21.68 3.31 Male No Sun Dinner 2
4 22.59 3.61 Female No Sun Dinner 4
.. ... ... ... ... ... ... ...
239 27.03 5.92 Male No Sat Dinner 3
240 25.18 2.00 Female Yes Sat Dinner 2
241 20.67 2.00 Male Yes Sat Dinner 2
242 15.82 1.75 Male No Sat Dinner 2
243 16.78 3.00 Female No Thur Dinner 2
[244 rows x 7 columns]
依據數值排序#
SAS 中的排序透過 PROC SORT 完成
proc sort data=tips;
by sex total_bill;
run;
pandas 有 DataFrame.sort_values() 方法，它會採用一串欄位來排序。
In [1]: tips = tips.sort_values(["sex", "total_bill"])
In [2]: tips
Out[2]:
total_bill tip sex smoker day time size
67 1.07 1.00 Female Yes Sat Dinner 1
92 3.75 1.00 Female Yes Fri Dinner 2
111 5.25 1.00 Female No Sat Dinner 1
145 6.35 1.50 Female No Thur Lunch 2
135 6.51 1.25 Female No Thur Lunch 2
.. ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3
156 46.17 5.00 Male No Sun Dinner 6
59 46.27 6.73 Male No Sat Dinner 4
212 46.33 9.00 Male No Sat Dinner 4
170 48.81 10.00 Male Yes Sat Dinner 3
[244 rows x 7 columns]
字串處理#
尋找字串長度#
SAS 使用 LENGTHN 和 LENGTHC 函數來決定字元字串的長度。 LENGTHN 排除尾空白，而 LENGTHC 包含尾空白。
data _null_;
set tips;
put(LENGTHN(time));
put(LENGTHC(time));
run;
你可以使用 Series.str.len() 來找出字串的長度。在 Python 3 中，所有字串都是 Unicode 字串。 len 包含尾隨空白。使用 len 和 rstrip 來排除尾隨空白。
In [1]: tips["time"].str.len()
Out[1]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
In [2]: tips["time"].str.rstrip().str.len()
Out[2]:
67 6
92 6
111 6
145 5
135 5
..
182 6
156 6
59 6
212 6
170 6
Name: time, Length: 244, dtype: int64
尋找子字串的位置#
SAS 使用 FINDW 函數來判斷字串中字元的位子。 FINDW 函數會使用第一個參數所定義的字串，並搜尋你提供在第二個參數中的子字串的第一個位子。
data _null_;
set tips;
put(FINDW(sex,'ale'));
run;
你可以使用 Series.str.find() 方法來找出字串欄位中字元的位子。 find 會搜尋子字串的第一個位子。如果找到子字串，此方法會傳回它的位子。如果找不到，它會傳回 -1。請記住 Python 的索引值從 0 開始。
In [1]: tips["sex"].str.find("ale")
Out[1]:
67 3
92 3
111 3
145 3
135 3
..
182 1
156 1
59 1
212 1
170 1
Name: sex, Length: 244, dtype: int64
根據位置擷取子字串#
SAS 使用 SUBSTR 函數根據字串中的位置來擷取子字串。
data _null_;
set tips;
put(substr(sex,1,1));
run;
在 pandas 中，你可以使用 [] 符號來根據位置從字串中擷取子字串。請記住 Python 的索引值從 0 開始。
In [1]: tips["sex"].str[0:1]
Out[1]:
67 F
92 F
111 F
145 F
135 F
..
182 M
156 M
59 M
212 M
170 M
Name: sex, Length: 244, dtype: object
擷取第 n 個字#
SAS SCAN 函數傳回字串中的第 n 個字。第一個參數是要剖析的字串，第二個參數則指定要萃取的字。
data firstlast;
input String $60.;
First_Name = scan(string, 1);
Last_Name = scan(string, -1);
datalines2;
John Smith;
Jane Cook;
;;;
run;
在 pandas 中萃取字詞最簡單的方法是依空白鍵分割字串，然後依索引參照字詞。請注意，如有需要，還有更強大的方法。
In [1]: firstlast = pd.DataFrame({"String": ["John Smith", "Jane Cook"]})
In [2]: firstlast["First_Name"] = firstlast["String"].str.split(" ", expand=True)[0]
In [3]: firstlast["Last_Name"] = firstlast["String"].str.rsplit(" ", expand=True)[1]
In [4]: firstlast
Out[4]:
String First_Name Last_Name
0 John Smith John Smith
1 Jane Cook Jane Cook
變更大小寫#
SAS UPCASE LOWCASE 和 PROPCASE 函數會變更參數的大小寫。
data firstlast;
input String $60.;
string_up = UPCASE(string);
string_low = LOWCASE(string);
string_prop = PROPCASE(string);
datalines2;
John Smith;
Jane Cook;
;;;
run;
等效的 pandas 方法為 Series.str.upper()、Series.str.lower() 和 Series.str.title()。
In [1]: firstlast = pd.DataFrame({"string": ["John Smith", "Jane Cook"]})
In [2]: firstlast["upper"] = firstlast["string"].str.upper()
In [3]: firstlast["lower"] = firstlast["string"].str.lower()
In [4]: firstlast["title"] = firstlast["string"].str.title()
In [5]: firstlast
Out[5]:
string upper lower title
0 John Smith JOHN SMITH john smith John Smith
1 Jane Cook JANE COOK jane cook Jane Cook
合併#
合併範例中將使用下列表格
In [1]: df1 = pd.DataFrame({"key": ["A", "B", "C", "D"], "value": np.random.randn(4)})
In [2]: df1
Out[2]:
key value
0 A 0.469112
1 B -0.282863
2 C -1.509059
3 D -1.135632
In [3]: df2 = pd.DataFrame({"key": ["B", "D", "D", "E"], "value": np.random.randn(4)})
In [4]: df2
Out[4]:
key value
0 B 1.212112
1 D -0.173215
2 D 0.119209
3 E -1.044236
在 SAS 中，資料必須在合併之前明確排序。使用 in= 虛擬變數來追蹤在一個或兩個輸入框架中是否找到配對，以達成不同類型的聯結。
proc sort data=df1;
by key;
run;
proc sort data=df2;
by key;
run;
data left_join inner_join right_join outer_join;
merge df1(in=a) df2(in=b);
if a and b then output inner_join;
if a then output left_join;
if b then output right_join;
if a or b then output outer_join;
run;
pandas DataFrames 有一個 merge() 方法，它提供類似的功能。資料不必事先排序，而且不同的連接類型是透過 how 關鍵字來完成。
In [1]: inner_join = df1.merge(df2, on=["key"], how="inner")
In [2]: inner_join
Out[2]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
In [3]: left_join = df1.merge(df2, on=["key"], how="left")
In [4]: left_join
Out[4]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
In [5]: right_join = df1.merge(df2, on=["key"], how="right")
In [6]: right_join
Out[6]:
key value_x value_y
0 B -0.282863 1.212112
1 D -1.135632 -0.173215
2 D -1.135632 0.119209
3 E NaN -1.044236
In [7]: outer_join = df1.merge(df2, on=["key"], how="outer")
In [8]: outer_join
Out[8]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
遺失資料#
pandas 和 SAS 都有遺失資料的表示方式。
pandas 使用特殊浮點值 NaN（不是數字）來表示遺失資料。許多語意是相同的；例如，遺失資料會傳播到數值運算中，而且在聚合時預設會忽略它。
In [1]: outer_join
Out[1]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E NaN -1.044236
In [2]: outer_join["value_x"] + outer_join["value_y"]
Out[2]:
0 NaN
1 0.929249
2 NaN
3 -1.308847
4 -1.016424
5 NaN
dtype: float64
In [3]: outer_join["value_x"].sum()
Out[3]: -3.5940742896293765
一個不同點是遺失資料無法與其哨兵值相比較。例如，在 SAS 中，您可以這樣做來篩選遺失值。
data outer_join_nulls;
set outer_join;
if value_x = .;
run;
data outer_join_no_nulls;
set outer_join;
if value_x ^= .;
run;
在 pandas 中，Series.isna() 和 Series.notna() 可用於篩選列。
In [1]: outer_join[outer_join["value_x"].isna()]
Out[1]:
key value_x value_y
5 E NaN -1.044236
In [2]: outer_join[outer_join["value_x"].notna()]
Out[2]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 NaN
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
pandas 提供 各種方法來處理遺失資料。以下是一些範例
刪除有遺失值的列#
In [3]: outer_join.dropna()
Out[3]:
key value_x value_y
1 B -0.282863 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
從前一列向前填入#
In [4]: outer_join.ffill()
Out[4]:
key value_x value_y
0 A 0.469112 NaN
1 B -0.282863 1.212112
2 C -1.509059 1.212112
3 D -1.135632 -0.173215
4 D -1.135632 0.119209
5 E -1.135632 -1.044236
以指定值取代遺失值#
使用平均值
In [5]: outer_join["value_x"].fillna(outer_join["value_x"].mean())
Out[5]:
0 0.469112
1 -0.282863
2 -1.509059
3 -1.135632
4 -1.135632
5 -0.718815
Name: value_x, dtype: float64
GroupBy#
聚合#
SAS 的 PROC SUMMARY 可用於依一個或多個關鍵變數進行分組，並對數字欄位計算聚合。
proc summary data=tips nway;
class sex smoker;
var total_bill tip;
output out=tips_summed sum=;
run;
pandas 提供一個彈性的 groupby 機制，允許類似的聚合。請參閱 groupby 文件 以取得更多詳細資料和範例。
In [1]: tips_summed = tips.groupby(["sex", "smoker"])[["total_bill", "tip"]].sum()
In [2]: tips_summed
Out[2]:
total_bill tip
sex smoker
Female No 869.68 149.77
Yes 527.27 96.74
Male No 1725.75 302.00
Yes 1217.07 183.07
轉換#
在 SAS 中，如果群組聚合需要與原始框架一起使用，則必須將其合併回來。例如，依據吸菸者群組減去每個觀察值的平均值。
proc summary data=tips missing nway;
class smoker;
var total_bill;
output out=smoker_means mean(total_bill)=group_bill;
run;
proc sort data=tips;
by smoker;
run;
data tips;
merge tips(in=a) smoker_means(in=b);
by smoker;
adj_total_bill = total_bill - group_bill;
if a and b;
run;
pandas 提供一個 轉換 機制，允許這些類型的運算在一個運算中簡潔地表達。
In [1]: gb = tips.groupby("smoker")["total_bill"]
In [2]: tips["adj_total_bill"] = tips["total_bill"] - gb.transform("mean")
In [3]: tips
Out[3]:
total_bill tip sex smoker day time size adj_total_bill
67 1.07 1.00 Female Yes Sat Dinner 1 -17.686344
92 3.75 1.00 Female Yes Fri Dinner 2 -15.006344
111 5.25 1.00 Female No Sat Dinner 1 -11.938278
145 6.35 1.50 Female No Thur Lunch 2 -10.838278
135 6.51 1.25 Female No Thur Lunch 2 -10.678278
.. ... ... ... ... ... ... ... ...
182 43.35 3.50 Male Yes Sun Dinner 3 24.593656
156 46.17 5.00 Male No Sun Dinner 6 28.981722
59 46.27 6.73 Male No Sat Dinner 4 29.081722
212 46.33 9.00 Male No Sat Dinner 4 29.141722
170 48.81 10.00 Male Yes Sat Dinner 3 30.053656
[244 rows x 8 columns]
依群組處理#
除了聚合之外，pandas groupby 可用於複製 SAS 中大多數其他依群組處理。例如，此 DATA 步驟依性別/吸菸者群組讀取資料，並篩選到每個群組的第一個輸入。
proc sort data=tips;
by sex smoker;
run;
data tips_first;
set tips;
by sex smoker;
if FIRST.sex or FIRST.smoker then output;
run;
在 pandas 中，這會寫成
In [4]: tips.groupby(["sex", "smoker"]).first()
Out[4]:
total_bill tip day time size adj_total_bill
sex smoker
Female No 5.25 1.00 Sat Dinner 1 -11.938278
Yes 1.07 1.00 Sat Dinner 1 -17.686344
Male No 5.51 2.00 Thur Lunch 2 -11.678278
Yes 5.25 5.15 Sun Dinner 2 -13.506344
其他考量#
磁碟與記憶體#
pandas 僅在記憶體中運作，而 SAS 資料集存在於磁碟上。這表示能夠載入 pandas 的資料大小受到電腦記憶體的限制，但對該資料執行的運算可能會更快。
如果需要核心外處理，一種可能性是 dask.dataframe 函式庫（目前正在開發中），它提供了一個 DataFrame 針對磁碟的 pandas 功能子集
資料互通#
pandas 提供了一個 read_sas() 方法，可以讀取儲存在 XPORT 或 SAS7BDAT 二進位格式的 SAS 資料。
libname xportout xport 'transport-file.xpt';
data xportout.tips;
set tips(rename=(total_bill=tbill));
* xport variable names limited to 6 characters;
run;
df = pd.read_sas("transport-file.xpt")
df = pd.read_sas("binary-file.sas7bdat")
您也可以直接指定檔案格式。預設情況下，pandas 會根據其副檔名推斷檔案格式。
df = pd.read_sas("transport-file.xpt", format="xport")
df = pd.read_sas("binary-file.sas7bdat", format="sas7bdat")
XPORT 是一個相對有限的格式，其解析並未像其他一些 pandas 讀取器那樣經過最佳化。在 SAS 和 pandas 之間互通資料的另一種方法是序列化為 csv。
# version 0.17, 10M rows
In [8]: %time df = pd.read_sas('big.xpt')
Wall time: 14.6 s
In [9]: %time df = pd.read_csv('big.csv')
Wall time: 4.86 s