搞了一下午的爬虫程序，本来想抓点金融论坛的数据做情绪分析，结果代码跑一半直接崩了。查了半天发现是requests库的session没关，内存直接爆掉。以前写小脚本没注意过这个问题，这回数据量大了才暴露出来。 更坑的是，我用的还是Anaconda自带的Jupyter Notebook，跑崩了之后内核直接死掉，前面的变量全没了，又得从头跑。后来换成了PyCharm，加了try-finally把session关掉，终于稳定了。 给各位提个醒，写爬虫一定要记得关连接池，不然数据量一大准出问题。还有千万别用Notebook跑长时间任务，血的教训。
