少有人知的python数据科学库

Python是门很神奇的语言，历经时间和实践检验，受到开发者和数据科学家一致好评，目前已经是全世界发展最好的编程语言之一。简单易用，完整而庞大的第三方库生态圈，使得Python成为编程小白和高级工程师的首选。

在本文中，我们会分享不同于市面上的python数据科学库（如numpy、padnas、scikit-learn、matplotlib等），，尽管这些库很棒，但是其他还有一些不为人知，但同样优秀的库需要我们去探索去学习。

从网络上获取数据被认为是数据科学家的必备基本技能，而Wget是一套非交互的基于命令行的文件下载库。ta支持HTTP、HTTPS和FTP协议，也支持使用IP代理。因为ta是非交互的，即使用户未登录，ta也可以在后台运行。所以下次如果你想从网络上下载一个页面，Wget可以帮到你哦。

安装

pip isntall wget 

用例

import wget 
 
url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3' 
 
filename = wget.download(url) 

Run and output

100% [................................................] 3841532 / 3841532 
filename 
'razorback.mp3' 

对于大多数python用户来说处理时期（时间）数据是一件令人抓狂的事情，好在Pendulum专为你而来。它是python内置时间类的良好备选方案，更多内容可查看官方文档 https://pendulum.eustace.io/docs/

安装

pip install pendulum 

用例

import pendulum 
 
dt_toronto = pendulum.datetime(2012, 1, 1, tz='America/Toronto') 
dt_vancouver = pendulum.datetime(2012, 1, 1, tz='America/Vancouver') 
print(dt_vancouver.diff(dt_toronto).in_hours()) 

Run and output

3 

常见的机器学习分类算法都默认输入的数据是均衡数据，即假设训练集数据有A和B两个类别，A和B数据量大体相当。如果A和B数据量差别巨大，那么训练的效果会不理想。在实际收集和整理的数据，其实绝大多数是非均衡数据，这对于机器学习分类算法真的是个很大的问题。好在有imbalanced-learn库可以很好的解决这个问题。该库兼容scikit-learn，并且是作为scikit-learn-contrib项目的一部分。当你再遇到非均衡数据，记得试试它哦！

安装

pip install -U imbalanced-learn 
#或者 
conda install -c conda-forge imbalanced-learn 

该库有高质量的文档 http://imbalanced-learn.org/en/stable,目前该库支持scikit-learn、keras、tensorflow库

在NLP任务重经常会遇到替换指代同一个意思的多个词语，或者从句子中抽取关键词。通常我们一般的做法是使用正则表达式来完成这些脏活累活，但如果要操作的词语数量达到几千上万，使用正则这种方法就会变得很麻烦。FlashText库是基于FlashText算法，该库的最强大之处在于程序运行时间不受操作词语数量影响，即运行时间与操作的词汇数量无关。 因此特别适合应用到 python文本分析 中去。

4.1 安装


pip install flashtext 

4.2 用例

4.2.1 抽取关键词

我们都知道 Big Apple 指代纽约。所以抽取纽约这个城市词时候，我们要考虑到相同意思的不同词语。

from flashtext import KeywordProcessor 
 
#设置关键词处理器 
keyword_processor = KeywordProcessor() 
 
#设置关键词及其近义词 
keyword_processor.add_keyword('Big Apple', 'New York') #遇到Big Apple就会识别为New York 
keyword_processor.add_keyword('Bay Area') 
 
keywords_found = keyword_processor.extract_keywords("I love Big Apple and Bay Area.") 
 
keywords_found 

Run and output

['New York', 'Bay Area'] 

4.2.2 替换关键词

我们也经常需要将原始文本进行处理，比如将New Delhi（新德里）替换为NCR region（国家首都区）

keyword_processor.add_keyword('New Delhi', 'NCR region') 
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.') 
new_sentence 

Run and output

'I love New York and NCR region.' 

想了解更多，请查看FlastText官方文档

https://flashtext.readthedocs.io/en/latest/#

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!