简介:摘要:现今的商业、科研工作产生的数据是海量的,受制于庞大的数据量和计算量。如何从这些数据中获取有意义的信息成为一个亟待解决的问题。对于大规模数据集,原始的数据挖掘算法处理能力有限。支持向量机(Support Vector Machine,SVM)很少过度拟合。并且,对于线性不可分数据集或特征向量维数很高的数据集,支持向量机算法的分类正确率相对比较高,适合于文本数据集。但是对于数据规模比较大的情况,支持向量机算法的计算复杂度高、运行时间比较长。 SVM算法的单机执行速度往往不能达到用户的要求,利用 Spark并行计算环境实 现 SVM算法,并行分析和处理数据,能够显著提高 SVM算法的执行效率,达到令人满意的效果。
简介:根据高精度卫星导航定位和全球电离层活动监测的需要,利用全球370多个GPS基准站的双频相位实测数据,监测全球电离层总电子含量变化和GPS卫星及接收机的DCB。由于数据量大、数据处理时间长,很难实现高精度快速建模,为此我们采用OpenMP并行算法来加快数据处理速度。实验表明,相对于串行处理,并行处理在8核服务器下能加速7倍以上,在48核服务器下能加速超过40倍。将本文的初步建模结果与CODE、JPL等分析中心的结果进行比较,表明用该方法建立的模型是可靠的。其卫星DCB结果相对于CODE发布的结果精度为0.4ns,相对于JPL发布的结果其精度达到0.3ns。其测站DCB相对于2个分析中心结果的精度均优于2ns,垂直总电子含量相对于各分析中心的GIM产品的精度都在5.3TECU以内,相对于CODE的结果的精度最高,达4TECU。
简介:提出一种改进的并行比特翻转算法.为了加快校验节点和变量节点之间的信息传递速率,算法中的比特翻转及校验和更新2个步骤采用并行化处理.仿真结果表明,改进后的算法相对于原有的并行比特翻转算法在误帧率性能上能够取得0.1~0.3dB的增益.同时,改进算法在译码吞吐率的性能上也有所改善.此外,还讨论了翻转门限的选择方法,这些门限决定了每次迭代中哪些比特需要被翻转.通过选择合适的翻转门限,可使错误的比特尽量多地被翻转,并避免翻转正确的比特.该改进算法比较适用于对具有准循环结构的LDPC码进行译码.