Python計(jì)算IV值的示例講解
在對變量分箱后,需要計(jì)算變量的重要性,IV是評估變量區(qū)分度或重要性的統(tǒng)計(jì)量之一,python計(jì)算IV值的代碼如下:
def CalcIV(Xvar, Yvar): N_0 = np.sum(Yvar==0) N_1 = np.sum(Yvar==1) N_0_group = np.zeros(np.unique(Xvar).shape) N_1_group = np.zeros(np.unique(Xvar).shape) for i in range(len(np.unique(Xvar))): N_0_group[i] = Yvar[(Xvar == np.unique(Xvar)[i]) & (Yvar == 0)].count() N_1_group[i] = Yvar[(Xvar == np.unique(Xvar)[i]) & (Yvar == 1)].count() iv = np.sum((N_0_group/N_0 - N_1_group/N_1) * np.log((N_0_group/N_0)/(N_1_group/N_1))) return iv def caliv_batch(df, Kvar, Yvar): df_Xvar = df.drop([Kvar, Yvar], axis=1) ivlist = [] for col in df_Xvar.columns: iv = CalcIV(df[col], df[Yvar]) ivlist.append(iv) names = list(df_Xvar.columns) iv_df = pd.DataFrame({’Var’: names, ’Iv’: ivlist}, columns=[’Var’, ’Iv’]) return iv_df
其中,df是分箱后的數(shù)據(jù)集,Kvar是主鍵,Yvar是y變量(0是好,1是壞)。
代碼運(yùn)行結(jié)果如下:
補(bǔ)充拓展:python基礎(chǔ)IV(切片、迭代、生成列表)
對list進(jìn)行切片
取一個(gè)list的部分元素是非常常見的操作。比如,一個(gè)list如下:
>>> L = [’Adam’, ’Lisa’, ’Bart’, ’Paul’]
取前3個(gè)元素,應(yīng)該怎么做?
笨辦法:
>>> [L[0], L[1], L[2]][’Adam’, ’Lisa’, ’Bart’]
之所以是笨辦法是因?yàn)閿U(kuò)展一下,取前N個(gè)元素就沒轍了。
取前N個(gè)元素,也就是索引為0-(N-1)的元素,可以用循環(huán):
>>> r = []>>> n = 3>>> for i in range(n):... r.append(L[i])... >>> r[’Adam’, ’Lisa’, ’Bart’]
對這種經(jīng)常取指定索引范圍的操作,用循環(huán)十分繁瑣,因此,Python提供了切片(Slice)操作符,能大大簡化這種操作。
對應(yīng)上面的問題,取前3個(gè)元素,用一行代碼就可以完成切片:
>>> L[0:3][’Adam’, ’Lisa’, ’Bart’]
L[0:3]表示,從索引0開始取,直到索引3為止,但不包括索引3。即索引0,1,2,正好是3個(gè)元素。
如果第一個(gè)索引是0,還可以省略:
>>> L[:3][’Adam’, ’Lisa’, ’Bart’]
也可以從索引1開始,取出2個(gè)元素出來:
>>> L[1:3][’Lisa’, ’Bart’]
只用一個(gè) : ,表示從頭到尾:
>>> L[:][’Adam’, ’Lisa’, ’Bart’, ’Paul’]
因此,L[:]實(shí)際上復(fù)制出了一個(gè)新list。
切片操作還可以指定第三個(gè)參數(shù):
>>> L[::2][’Adam’, ’Bart’]
第三個(gè)參數(shù)表示每N個(gè)取一個(gè),上面的 L[::2] 會每兩個(gè)元素取出一個(gè)來,也就是隔一個(gè)取一個(gè)。
把list換成tuple,切片操作完全相同,只是切片的結(jié)果也變成了tuple。
倒序切片
對于list,既然Python支持L[-1]取倒數(shù)第一個(gè)元素,那么它同樣支持倒數(shù)切片,試試:
>>> L = [’Adam’, ’Lisa’, ’Bart’, ’Paul’]>>> L[-2:][’Bart’, ’Paul’]>>> L[:-2][’Adam’, ’Lisa’]>>> L[-3:-1][’Lisa’, ’Bart’]>>> L[-4:-1:2][’Adam’, ’Bart’]
記住倒數(shù)第一個(gè)元素的索引是-1。倒序切片包含起始索引,不包含結(jié)束索引。
對字符串切片
字符串 ’xxx’和 Unicode字符串 u’xxx’也可以看成是一種list,每個(gè)元素就是一個(gè)字符。因此,字符串也可以用切片操作,只是操作結(jié)果仍是字符串:
>>> ’ABCDEFG’[:3]’ABC’>>> ’ABCDEFG’[-3:]’EFG’>>> ’ABCDEFG’[::2]’ACEG’
在很多編程語言中,針對字符串提供了很多各種截取函數(shù),其實(shí)目的就是對字符串切片。Python沒有針對字符串的截取函數(shù),只需要切片一個(gè)操作就可以完成,非常簡單。
什么是迭代
在Python中,如果給定一個(gè)list或tuple,我們可以通過for循環(huán)來遍歷這個(gè)list或tuple,這種遍歷我們成為迭代(Iteration)。
在Python中,迭代是通過 for ... in 來完成的,而很多語言比如C或者Java,迭代list是通過下標(biāo)完成的,比如Java代碼:
for (i=0; i<list.length; i++) { n = list[i];}
可以看出,Python的for循環(huán)抽象程度要高于Java的for循環(huán)。
因?yàn)?Python 的 for循環(huán)不僅可以用在list或tuple上,還可以作用在其他任何可迭代對象上。
因此,迭代操作就是對于一個(gè)集合,無論該集合是有序還是無序,我們用 for 循環(huán)總是可以依次取出集合的每一個(gè)元素。
注意: 集合是指包含一組元素的數(shù)據(jù)結(jié)構(gòu),我們已經(jīng)介紹的包括:
1. 有序集合:list,tuple,str和unicode;
2. 無序集合:set
3. 無序集合并且具有 key-value 對:dict而迭代是一個(gè)動詞,它指的是一種操作,在Python中,就是 for 循環(huán)。
迭代與按下標(biāo)訪問數(shù)組最大的不同是,后者是一種具體的迭代實(shí)現(xiàn)方式,而前者只關(guān)心迭代結(jié)果,根本不關(guān)心迭代內(nèi)部是如何實(shí)現(xiàn)的。
索引迭代
Python中,迭代永遠(yuǎn)是取出元素本身,而非元素的索引。
對于有序集合,元素確實(shí)是有索引的。有的時(shí)候,我們確實(shí)想在 for 循環(huán)中拿到索引,怎么辦?
方法是使用 enumerate() 函數(shù):
>>> L = [’Adam’, ’Lisa’, ’Bart’, ’Paul’]>>> for index, name in enumerate(L):... print index, ’-’, name... 0 - Adam1 - Lisa2 - Bart3 - Paul
使用 enumerate() 函數(shù),我們可以在for循環(huán)中同時(shí)綁定索引index和元素name。但是,這不是 enumerate() 的特殊語法。實(shí)際上,enumerate() 函數(shù)把:
[’Adam’, ’Lisa’, ’Bart’, ’Paul’]
變成了類似:
[(0, ’Adam’), (1, ’Lisa’), (2, ’Bart’), (3, ’Paul’)]
因此,迭代的每一個(gè)元素實(shí)際上是一個(gè)tuple:
for t in enumerate(L): index = t[0] name = t[1] print index, ’-’, name
如果我們知道每個(gè)tuple元素都包含兩個(gè)元素,for循環(huán)又可以進(jìn)一步簡寫為:
for index, name in enumerate(L):print index, ’-’, name
這樣不但代碼更簡單,而且還少了兩條賦值語句。
可見,索引迭代也不是真的按索引訪問,而是由 enumerate() 函數(shù)自動把每個(gè)元素變成 (index, element) 這樣的tuple,再迭代,就同時(shí)獲得了索引和元素本身。
迭代dict的value
我們已經(jīng)了解了dict對象本身就是可迭代對象,用 for 循環(huán)直接迭代 dict,可以每次拿到dict的一個(gè)key。
如果我們希望迭代 dict 對象的value,應(yīng)該怎么做?
dict 對象有一個(gè) values() 方法,這個(gè)方法把dict轉(zhuǎn)換成一個(gè)包含所有value的list,這樣,我們迭代的就是 dict的每一個(gè) value:
d = { ’Adam’: 95, ’Lisa’: 85, ’Bart’: 59 }print d.values()# [85, 95, 59]for v in d.values(): print v# 85# 95# 59
如果仔細(xì)閱讀Python的文檔,還可以發(fā)現(xiàn),dict除了values()方法外,還有一個(gè) itervalues() 方法,用 itervalues() 方法替代 values() 方法,迭代效果完全一樣:
d = { ’Adam’: 95, ’Lisa’: 85, ’Bart’: 59 }print d.itervalues()# <dictionary-valueiterator object at 0x106adbb50>for v in d.itervalues(): print v# 85# 95# 59
那這兩個(gè)方法有何不同之處呢?
1. values() 方法實(shí)際上把一個(gè) dict 轉(zhuǎn)換成了包含 value 的list。
2. 但是 itervalues() 方法不會轉(zhuǎn)換,它會在迭代過程中依次從 dict 中取出 value,所以 itervalues() 方法比 values() 方法節(jié)省了生成 list 所需的內(nèi)存。
3. 打印 itervalues() 發(fā)現(xiàn)它返回一個(gè) <dictionary-valueiterator> 對象,這說明在Python中,for 循環(huán)可作用的迭代對象遠(yuǎn)不止 list,tuple,str,unicode,dict等,任何可迭代對象都可以作用于for循環(huán),而內(nèi)部如何迭代我們通常并不用關(guān)心。
如果一個(gè)對象說自己可迭代,那我們就直接用 for 循環(huán)去迭代它,可見,迭代是一種抽象的數(shù)據(jù)操作,它不對迭代對象內(nèi)部的數(shù)據(jù)有任何要求。
迭代dict的key和value
我們了解了如何迭代 dict 的key和value,那么,在一個(gè) for 循環(huán)中,能否同時(shí)迭代 key和value?答案是肯定的。
首先,我們看看 dict 對象的 items() 方法返回的值:
>>> d = { ’Adam’: 95, ’Lisa’: 85, ’Bart’: 59 }>>> print d.items()[(’Lisa’, 85), (’Adam’, 95), (’Bart’, 59)]
可以看到,items() 方法把dict對象轉(zhuǎn)換成了包含tuple的list,我們對這個(gè)list進(jìn)行迭代,可以同時(shí)獲得key和value:
>>> for key, value in d.items():... print key, ’:’, value... Lisa : 85Adam : 95Bart : 59
和 values() 有一個(gè) itervalues() 類似, items() 也有一個(gè)對應(yīng)的 iteritems(),iteritems() 不把dict轉(zhuǎn)換成list,而是在迭代過程中不斷給出 tuple,所以, iteritems() 不占用額外的內(nèi)存。
生成列表
要生成list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],我們可以用range(1, 11):
>>> range(1, 11)[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
但如果要生成[1x1, 2x2, 3x3, ..., 10x10]怎么做?方法一是循環(huán):
>>> L = []>>> for x in range(1, 11):... L.append(x * x)... >>> L[1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
但是循環(huán)太繁瑣,而列表生成式則可以用一行語句代替循環(huán)生成上面的list:
>>> [x * x for x in range(1, 11)][1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
這種寫法就是Python特有的列表生成式。利用列表生成式,可以以非常簡潔的代碼生成 list。
寫列表生成式時(shí),把要生成的元素 x * x 放到前面,后面跟 for 循環(huán),就可以把list創(chuàng)建出來,十分有用,多寫幾次,很快就可以熟悉這種語法。
復(fù)雜表達(dá)式
使用for循環(huán)的迭代不僅可以迭代普通的list,還可以迭代dict。
假設(shè)有如下的dict:
d = { ’Adam’: 95, ’Lisa’: 85, ’Bart’: 59 }
完全可以通過一個(gè)復(fù)雜的列表生成式把它變成一個(gè) HTML 表格:
tds = [’<tr><td>%s</td><td>%s</td></tr>’ % (name, score) for name, score in d.iteritems()]print ’<table>’print ’<tr><th>Name</th><th>Score</th><tr>’print ’n’.join(tds)print ’</table>’
注:字符串可以通過 % 進(jìn)行格式化,用指定的參數(shù)替代 %s。字符串的join()方法可以把一個(gè) list 拼接成一個(gè)字符串。
條件過濾
列表生成式的 for 循環(huán)后面還可以加上 if 判斷。例如:
>>> [x * x for x in range(1, 11)][1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
如果我們只想要偶數(shù)的平方,不改動 range()的情況下,可以加上 if 來篩選:
>>> [x * x for x in range(1, 11) if x % 2 == 0][4, 16, 36, 64, 100]
有了 if 條件,只有 if 判斷為 True 的時(shí)候,才把循環(huán)的當(dāng)前元素添加到列表中。
多層表達(dá)式
for循環(huán)可以嵌套,因此,在列表生成式中,也可以用多層 for 循環(huán)來生成列表。
對于字符串 ’ABC’ 和 ’123’,可以使用兩層循環(huán),生成全排列:
>>> [m + n for m in ’ABC’ for n in ’123’][’A1’, ’A2’, ’A3’, ’B1’, ’B2’, ’B3’, ’C1’, ’C2’, ’C3’]
翻譯成循環(huán)代碼就像下面這樣:
L = []for m in ’ABC’: for n in ’123’: L.append(m + n)
以上這篇Python計(jì)算IV值的示例講解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. ASP中if語句、select 、while循環(huán)的使用方法2. 詳解瀏覽器的緩存機(jī)制3. ASP新手必備的基礎(chǔ)知識4. 利用FastReport傳遞圖片參數(shù)在報(bào)表上展示簽名信息的實(shí)現(xiàn)方法5. 推薦一個(gè)好看Table表格的css樣式代碼詳解6. phpstudy apache開啟ssi使用詳解7. HTML中的XML數(shù)據(jù)島記錄編輯與添加8. ASP常用日期格式化函數(shù) FormatDate()9. ASP.NET Core按用戶等級授權(quán)的方法10. .NET 中配置從xml轉(zhuǎn)向json方法示例詳解
