-
美团机器学习中的数据清洗与特征挖掘实践
所属栏目：[大数据] 日期：2021-05-28 热度：76
综述 如上图所示是一个经典的机器学习问题框架图。数据清洗和特征挖掘的工作是在灰色框中框出的部分，即“数据清洗=特征，标注数据生成=模型学习=模型应用”中的前两个步骤 灰色框中蓝色箭头对应的是离线处理部分。主要工作是： 从原始数据，如文本、图像或[详细]
-
据挖掘中所需的概率论与数理统计知识
所属栏目：[大数据] 日期：2021-05-28 热度：160
据挖掘中所需的概率论与数理统计知识 ??（ 关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布 ） 导言 ：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文 第4节 （ 彻底 颠[详细]
-
【轰炸】大数据分析2015年中国留学生回国就业蓝皮书
所属栏目：[大数据] 日期：2021-05-28 热度：58
本文摘自数据观 前几日，教育部公布了《中国留学回国就业蓝皮书2015》。蓝皮书中介绍，1978年至2015年底，我国累计出国留学人数404.21万，年均增长率19.06%，累计回国人数221.86万。留学回国就业人员的基本特征有哪些?就业情况怎么样?一起跟天道丝丝小编看看[详细]
-
找出一个整数数组中的第二大数
所属栏目：[大数据] 日期：2021-05-28 热度：192
可能以故事形式：如从第一层到第十层电梯每层停一次，如何找到第二个大的钻石 ?1?#includestdio.h??2?#includeassert.h??3?#define?MINNUMBER?-32768??4?int?find_sec_max(int?arr[],int?size)??5?{??6?????assert(arr);??7?????int?maxnumber=arr[0];??8???[详细]
-
hdoj 1002 A + B Problem II 大数
所属栏目：[大数据] 日期：2021-05-27 热度：159
A + B Problem II Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 302658????Accepted Submission(s): 58410 Problem Description I have a very simple problem for you. Given two integers[详细]
-
数据量太大？用Python处理数据密度过大障碍
所属栏目：[大数据] 日期：2021-05-27 热度：121
当我们需要观察比较2个变量间的关系时，散点图是我们首选图表。 可当数据量非常大，数据点又比较集中在某个区间中，图表没法看，密密麻麻的怎么看? 怎么办?这时[详细]
-
让你在10分钟内掌握如何用Python将数据批量的插入到数据库
所属栏目：[大数据] 日期：2021-05-27 热度：85
本文基于python, 使用pandas, pymysql等三方库实现了向数据库中高效批量插入数据，一方面提供被网上很多瞎转载的答案给坑蒙了的人(因为我也是)，一方面自己也做[详细]
-
Spark日臻完善之小文件是否需要合并?
所属栏目：[大数据] 日期：2021-05-27 热度：147
我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。Spark的性能，[详细]
-
5个可以帮助Pandas进行数据预解决的可视化图表
所属栏目：[大数据] 日期：2021-05-27 热度：166
数据科学行业中一个最常见的陷阱是花费数小时为他们的项目寻找最佳算法，而没有花足够的时间首先理解数据。 数据科学和机器学习项目的结构化方法从项目目标开始[详细]
-
大数据在疫情期间对货运运营商的安全不可估量
所属栏目：[大数据] 日期：2021-05-27 热度：196
大数据对于避免许多危机非常重要。采用大数据应对冠状病毒疫情危机是一个很好的例子。越来越多的国家和组织正在使用大数据来促进社交距离，加强联系追踪并找到新[详细]
-
数据科学家vs数据分析师，到底有啥差异？
所属栏目：[大数据] 日期：2021-05-27 热度：80
数据科学和机器学习两个领域很容易混淆，从职责描述上还是大家的普遍印象里，这两个职位都差不多。相较之下，数据科学和数据分析这两个职位更容易区分。它们虽有[详细]
-
大数据和物联网是如何相辅相成的？
所属栏目：[大数据] 日期：2021-05-27 热度：89
分析大数据 物联网传感器持续接收来自大量连接的异构设备的数据。随着联网设备数量的增加，物联网系统需要具有可伸缩性，以适应数据的流入。分析系统处理这些数[详细]
-
粉碎二八法则！每个数据科学家都得会一点SparkMagic
所属栏目：[大数据] 日期：2021-05-27 热度：148
著名的帕累托法则，即80/20定律，告诉我们：原因和结果、投入和产出、努力和报酬之间存在着无法解释的不平衡。即使是21世纪最具吸引力的工作，数据科学依然逃不[详细]
-
社交大数据如何助力社会风险问题？
所属栏目：[大数据] 日期：2021-05-27 热度：155
在网络空间治理中运用社交大数据 当今社会，社交媒体已经成为用户内容获取与危机风险传播的主要渠道。根据艾瑞咨询发布的《2019年中国移动社交行业研究报告》，[详细]
-
FFMPEG中重要的数据结构的挖掘
所属栏目：[大数据] 日期：2021-05-26 热度：184
[cpp] ? view plain ?copy ? typedef ? struct ? AVFormatContext ?{?? ???? struct ?AVInputFormat?*iformat;?? ???? void ?*priv_data;?? ?????? ????ByteIOContext?*pb;?? ????unsigned? int ?nb_streams;?? ???? AVStream?*streams[MAX_STREAMS];? ? }?A[详细]
-
poj 1001 Exponentiation 模拟大数（hdu 1063）
所属栏目：[大数据] 日期：2021-05-26 热度：82
poj 1001 Exponentiation ? 模拟 大数 链接： http://poj.org/problem?id=1001 题意： 题意很简单，给你2个数（前面的是小数，后面是不超过25的整数），求得前一个数的幂（后一个数作指数部分）。 思路： 要求小数的幂，用一般的double，float完全满足不了解[详细]
-
数据处理中的“基”情
所属栏目：[大数据] 日期：2021-05-26 热度：137
由于涉及过多公式，文章很多部分以图片排[详细]
-
漫谈：机器学习中距离和相似性度量方法
所属栏目：[大数据] 日期：2021-05-26 热度：61
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般[详细]
-
大数据分析过程中经常遇到那13个问题
所属栏目：[大数据] 日期：2021-05-26 热度：111
1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据量也不大，随便搞个数据库，然后SQL搞一下，数据报表就出来了。但是数据量大起来怎[详细]
-
挖掘DBLP作者合作关系，FP-Growth算法实践（4）：挖掘每个会议的
所属栏目：[大数据] 日期：2021-05-26 热度：73
在只有【论文标题、发布时间、作者、会议名称】这四种信息的情况下， 首先提取出所有这四种信息 ： 代码产生的结果如下，数据结构类似于headerTable，看结果就知道了，不再介绍： authorDict={} #{authorName: total(frequence,startYear,endYear),{eachConf[详细]
-
挖掘DBLP作者合作关系，FP-Growth算法实践（5）：挖掘研究者合作
所属栏目：[大数据] 日期：2021-05-26 热度：191
就是频繁项集挖掘，FP-Growth算法。 先产生headerTable： 数据结构（其实也是调了好几次代码才确定的，因为一开始总有想不到的东西）：entry: entry: {authorName: frequence,firstChildPointer,startYear,endYear} def CreateHeaderTable(tranDB,minSupport[详细]
-
数据处理之数据精简概述
所属栏目：[大数据] 日期：2021-05-26 热度：112
摘自：数据精简DataSimp 转自：数 据观（ID： cbdioreview） 作者：秦陇纪DataSimp 01 数据处理基础知识； data processing 数据是自然和生命的一种表示形式，记录了人类的行为，包括工作、生活和社会发展。数据（Data）是对事实、概念或指令的一种表达形式[详细]
-
大数据分析，Hadoop够用吗？Facebook数据专家说No
所属栏目：[大数据] 日期：2021-05-26 热度：98
随着大数据的发展和应用，Hadoop框架受到越来越多的关注和应用。Facebook分析主管Ken Rudin表示，不要小看关系型数据库技术的价值。他认为，Hadoop可能是“大数据”运动的代名词，但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具。 “ 有很多[详细]
-
大脑光遗传植入让小老鼠一秒变基友
所属栏目：[大数据] 日期：2021-05-26 热度：94
在老鼠的头骨中嵌入神经植入物，通过激活植入物，老鼠会立即开始互动并成为朋友；当他们关掉植入物后，它们的「友谊」就停止了。 这就是美国西北大学的工程师和[详细]
-
《MySQL必知必会学习笔记》：数据处理函数
所属栏目：[大数据] 日期：2021-05-26 热度：99
数据处理函数 大多数SQL实现支持以下类型的函数 1、用于处理文本（如将字符转换为大写或小写）的文本处理函数 2、用于在数值数据上进行算术操作（如返回绝对值、进行代数运算）的数值函数。 3、用于处理日期和时间值并从这些值中提取特定成分（例如：返回两[详细]
