Kaggle競(jìng)賽題目分析：數(shù)據(jù)壓縮方法

數(shù)據(jù)學(xué)術(shù)活動(dòng)，是業(yè)內(nèi)工作者和數(shù)據(jù)愛(ài)好者證明、磨練自己實(shí)力的一種有效方式。作為全世界最知名的數(shù)據(jù)挖掘以及機(jī)器學(xué)習(xí)學(xué)術(shù)活動(dòng)平臺(tái)，Kaggle早已成為數(shù)據(jù)玩家一試身手的練兵場(chǎng)。今天就來(lái)分享一道H&M時(shí)尚商品推薦比賽題目。

在參加H&M時(shí)尚商品推薦比賽中，由于部分字段的取值類(lèi)型為字符串類(lèi)型，很難對(duì)齊進(jìn)行有效壓縮的，導(dǎo)致內(nèi)存占用比較大。

壓縮 customer_id

customer_id是一個(gè)長(zhǎng)度為64的字符串，它使用64個(gè)字節(jié)。將列轉(zhuǎn)換為 int64，它只需要 8 個(gè)字節(jié)。而且映射關(guān)系是1v1的，沒(méi)有信息丟失，這意味著每個(gè)客戶(hù)都有一個(gè)唯一的int64

import?pandas?as?pd
train?=?pd.read_csv('transactions_train.csv')
train['customer_id']?=train['customer_id'].apply(lambda?x:?int(x[-16:],16)?).astype('int64')

壓縮 article_id

train['article_id']?=?train['article_id'].astype('int32')

壓縮 其他列

train.t_dat?=?pd.to_datetime(?train.t_dat?)
train['year']?=?(train.t_dat.dt.year-2000).astype('int8')
train['month']?=?(train.t_dat.dt.month).astype('int8')
train['day']?=?(train.t_dat.dt.day).astype('int8')

注意事項(xiàng)

在壓縮時(shí)，不要丟失具體的字段信息。

訓(xùn)練集和測(cè)試集壓縮方法要保持一致，否則將會(huì)出bug。

建議在數(shù)據(jù)讀取統(tǒng)一壓縮處理，放在代碼最開(kāi)始位置。

學(xué)習(xí)數(shù)據(jù)學(xué)術(shù)活動(dòng)，組隊(duì)參賽，交流分享

報(bào)名通道已開(kāi)啟，有想法以及需要報(bào)名的，掃碼咨詢(xún)！

以上就是關(guān)于【Kaggle競(jìng)賽題目分析：數(shù)據(jù)壓縮方法】的解答，如需了解學(xué)校/賽事/課程動(dòng)態(tài)，可至翰林教育官網(wǎng)獲取更多信息。

往期文章閱讀推薦：

??2027年QS最佳留學(xué)城市排名發(fā)布！倫敦位列第三，北美竟無(wú)緣Top10 ？

王虹、鄧煜！兩位中國(guó)數(shù)學(xué)家同獲菲爾茲獎(jiǎng)！中國(guó)數(shù)學(xué)史新紀(jì)元！