解決python3 整數數組轉bytes的效率問題

昨天在做一道CTF題的時候碰到了一個圖片異或的問題，操作大概如下：

將一個圖片讀入，然后每字節(jié)進行異或操作，核心代碼可簡化為以下：

#coding:utf-8
'''
 @DateTime: 2017-11-25 13:51:33
 @Version: 1.0
 @Author: Unname_Bao
'''
import six
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = b''
for i in range(32):
 flag += six.int2byte(key[i%32]^c[i])
with open('flag.png','wb') as f:
 f.write(flag)

然后就碰到了一個效率問題，跑了十幾分鐘都沒有跑出結果，起初以為是類型轉換的問題，因為比較急，于是換了成了C++的代碼去解決，后來一直沒多想。

今天閑下來的時候才發(fā)現代碼之前的代碼中存在一個非常大的問題：

內存申請問題

由于flag.encrypted文件大小為6.47MB之大，由于我的腳本思路是不斷在byte數組后添加，但忽略了其本質。

就是在內存申請過程中，由于數組長度最終為600+W大小，期間存在多次數組內存不夠，需要重新申請內存的問題，而python中的內存申請顯然沒有C++的vector的push_back有效率。

而且python中，無論是list、string還是byte，也沒有reserve這種函數，不能預留內存空間（這時候真的要吐槽一下python設計者對速度優(yōu)化的考量了）。

于是只能用另一種方法進行優(yōu)化，就是先用list申請一個需求大小的內存空間，然后再轉為bytes使用，

代碼如下：

#coding:utf-8
'''
 @DateTime: 2017-11-26 14:09:29
 @Version: 2.0
 @Author: Unname_Bao
'''
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = list('1'*len(c))
for i in range(len(c)):
 flag[i] = key[i%32]^c[i]
flag = bytes(flag)
with open('flag.png','wb') as f:
 f.write(flag)

這樣寫的話幾乎是瞬間完成任務了，但還是比C++慢很多，這是不可避免的。

補充：python2與python3的bytes問題

>>> s = '編程'
>>> print s
編程
>>> s
'\xe7\xbc\x96\xe7\xa8\x8b'
>>>

在python2中直接調用字符串的變量的話，會打印其bytes(可以理解成用16進制表示字符串的內存地址，本質還是二進制）。在python2中，bytes和str是一回事。

為什么要有個bytes呢？因為所有數據本質都是用二進制進行儲存的，當傳輸數據的時候，要把這些數據先轉換成二進制( bytes)在進行傳輸。除此之外，python2里還有個單獨的數據類型，把字符串解碼后，就會變成unicode。

>>> s
'\xe8\xb7\xaf\xe9\xa3\x9e' #utf-8
>>> s.decode('utf-8')
u'\u8def\u98de' #unicode 在unicode編碼表里對應的位置
>>> print(s.decode('utf-8'))
路飛 #unicode 格式的字符

原因是python2的默認編碼是ASCII,后來為了支持多國語言，就想弄個unicode。但是直接把ASCII轉成unicode是很費勁的，所以龜叔直接搞了一個新的字符類型，就叫unicode,說白了就是你得在內存里先把字符串存成unicode類型

2008年python3出世，來了個大變革：

1、把字符串的編碼變成了unicode,文件默認編碼變成了utf-8。

2、把str 和bytes 做了明確區(qū)分， str 就是unicode格式的字符， bytes就是單純二進制還有一個很重要的是，在python3中，只有unicode給你展示字形，其他的編碼一律用bytes展示，也就是說要你強制使用unicode。

最后再提示一下，Python只要出現各種編碼問題，無非是哪里的編碼設置出錯了

常見編碼錯誤的原因有：

Python解釋器的默認編碼

Python源文件文件編碼

Terminal使用的編碼

操作系統(tǒng)的語言設置

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。