使用PyV8在Python爬虫中执行js代码

前言

可能很多人会觉得这是一个奇葩的需求，爬虫去好好的爬数据不就行了，解析js干嘛？吃饱了撑的？

搜索一下互联网上关于这个问题还真不少，但是大多数童鞋是因为自己的js基础太烂，要么是HTML基础烂，要么ajax基础烂，反正各方面都很烂。基础这么渣不好好去学基础写什么爬虫？

那你肯定要问了“请问我的朋友，你TM怎么也有这个需求？莫非你是个技术渣？”

非也非也，博主作为一个拥有3年多前端经验的攻城尸，怎么会被这个问题给难倒呢，老夫今天遇到的问题很显然没有那么简单。

问题

那么博主到底是遇到什么问题了呢？

博主今天要去爬一个接口，但是调用那个接口需要带上令牌，也就是存储在Cookie中的一个类似token的东西，Cookie的值是一段js生成的，这段js又是通过另外一个接口获取回来的，而获取回来的js代码还是动态的，WTF！！！开发人员你这是 弄撒嘞？

路人甲：我擦嘞，声称经验老道的博主不会分析js的逻辑？

对，我就是不会，特么的js代码都是混淆加密的，眼睛都看瞎了都特么不知道写的都是写啥？

算了，我直接执行拿到结果就好了，管他写的是什么鬼。

思路

理一理思路，现在要做的事情其实很简单

请求接口A，拿到动态生成的混淆过的js代码 执行js代码，拿到生成的cookie值 请求接口B，带上js生成的令牌 拿到结果，愉快的玩耍...

思路相当的清晰，感觉秒秒钟就可以实现了呢。（）

难题

Python里面执行js？有点意思，我干嘛不用nodejs呢？

因为Python是世界上最屌的语言啊！没有之一！

找到了PyV8这个神奇的模块，机器已经有了pip，执行安装一下不就OK了？

pip install pyv8

不要怀疑，博主机器装的是 Kali Linux ，Root 权限，不需要 sudo

接着报错

pip install -U PyV8Collecting PyV8 Using cached PyV8-0.5.zipBuilding wheels for collected packages: PyV8 Running setup.py bdist_wheel for PyV8 ... error Complete output from command /usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-QUm4bX/PyV8/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('/r/n', '/n'), __file__, 'exec'))" bdist_wheel -d /tmp/tmpb0udlepip-wheel- --python-tag cp27: running bdist_wheel running build running build_py creating build creating build/lib.linux-x86_64-2.7 copying PyV8.py -> build/lib.linux-x86_64-2.7 running build_ext building '_PyV8' extension creating build/temp.linux-x86_64-2.7 creating build/temp.linux-x86_64-2.7/src x86_64-linux-gnu-gcc -pthread -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-cFt4xx/python2.7-2.7.12=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DBOOST_PYTHON_STATIC_LIB -Ilib/python/inc -Ilib/boost/inc -Ilib/v8/inc -I/usr/include/python2.7 -c src/Exception.cpp -o build/temp.linux-x86_64-2.7/src/Exception.o cc1plus: warning: command line option ‘-Wstrict-prototypes' is valid for C/ObjC but not for C++ In file included from src/Exception.cpp:1:0: src/Exception.h:6:16: fatal error: v8.h: 没有那个文件或目录 #include <v8.h>     ^ compilation terminated. error: command 'x86_64-linux-gnu-gcc' failed with exit status 1  ---------------------------------------- Failed building wheel for PyV8 Running setup.py clean for PyV8Failed to build PyV8Installing collected packages: PyV8 Running setup.py install for PyV8 ... error Complete output from command /usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-QUm4bX/PyV8/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('/r/n', '/n'), __file__, 'exec'))" install --record /tmp/pip-7OAwUa-record/install-record.txt --single-version-externally-managed --compile: running install running build running build_py creating build creating build/lib.linux-x86_64-2.7 copying PyV8.py -> build/lib.linux-x86_64-2.7 running build_ext building '_PyV8' extension creating build/temp.linux-x86_64-2.7 creating build/temp.linux-x86_64-2.7/src x86_64-linux-gnu-gcc -pthread -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fno-strict-aliasing -Wdate-time -D_FORTIFY_SOURCE=2 -g -fdebug-prefix-map=/build/python2.7-cFt4xx/python2.7-2.7.12=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -DBOOST_PYTHON_STATIC_LIB -Ilib/python/inc -Ilib/boost/inc -Ilib/v8/inc -I/usr/include/python2.7 -c src/Exception.cpp -o build/temp.linux-x86_64-2.7/src/Exception.o cc1plus: warning: command line option ‘-Wstrict-prototypes' is valid for C/ObjC but not for C++ In file included from src/Exception.cpp:1:0: src/Exception.h:6:16: fatal error: v8.h: 没有那个文件或目录  #include <v8.h>     ^ compilation terminated. error: command 'x86_64-linux-gnu-gcc' failed with exit status 1  ----------------------------------------Command "/usr/bin/python -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-QUm4bX/PyV8/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('/r/n', '/n'), __file__, 'exec'))" install --record /tmp/pip-7OAwUa-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-QUm4bX/PyV8/