k-means,mapreduce top k比单机慢,为什么

 上传我的文档
 下载
 收藏
该文档贡献者很忙,什么也没留下。
 下载此文档
基于MapReduce 的Canopy-Kmeans 改进算法
下载积分:1000
内容提示:基于MapReduce 的Canopy-Kmeans 改进算法
文档格式:PDF|
浏览次数:86|
上传日期: 13:42:27|
文档星级:
全文阅读已结束,如果下载本文需要使用
 1000 积分
下载此文档
该用户还上传了这些文档
基于MapReduce 的Canopy-Kmeans 改进算法
关注微信公众号网站已改版,请使用新地址访问:
k-means mapreduce实现聚类算法K MPI 并行计算 240万源代码下载-
&文件名称: k-means& & [
& & & & &&]
&&所属分类:
&&开发工具: Java
&&文件大小: 57 KB
&&上传时间:
&&下载次数: 0
&&提 供 者:
&详细说明:mapreduce实现聚类算法KMeans-mapreduce KMeans
文件列表(点击判断是否您需要的文件,如果是垃圾请在下面评价投诉):
&&k-means(分布式)\.classpath&&.................\.project&&.................\bin\cn\edu\ynu\kmeans\KMeansCombiner.class&&.................\...\..\...\...\......\KMeansDriver.class&&.................\...\..\...\...\......\KMeansMapper.class&&.................\...\..\...\...\......\KMeansReducer.class&&.................\in\part-r-00000~&&.................\..\text1.txt&&.................\..\text1.txt~&&.................\..\text2.txt&&.................\..\text2.txt~&&.................\kmeans-data\part-r-00000&&.................\...........\part-r-00000~&&.................\...........\synthetic_control.txt&&.................\src\cn\edu\ynu\kmeans\KMeansCombiner.java&&.................\...\..\...\...\......\KMeansDriver.java&&.................\...\..\...\...\......\KMeansMapper.java&&.................\...\..\...\...\......\KMeansReducer.java&&.................\bin\cn\edu\ynu\kmeans&&.................\src\cn\edu\ynu\kmeans&&.................\bin\cn\edu\ynu&&.................\src\cn\edu\ynu&&.................\bin\cn\edu&&.................\src\cn\edu&&.................\bin\cn&&.................\src\cn&&.................\bin&&.................\in&&.................\kmeans-data&&.................\src&&k-means(分布式)
&输入关键字,在本站240万海量源码库中尽情搜索:自动阅读模式
正在加载中
提示:将鼠标移到播放器里点击一下,滚动鼠标或按住左键往上拖可逐行阅读。
基于MapReduce的K-Means并行算法设计(最终版)
发布时间: 22:58:30
文档类型:
基于MapReduce的K-Means并行算法设计.docx
全文共24 页
请选择您喜欢的阅读模式
内容简介:
1、ustercluster=newCluster(key.get(),instance.divide(numOfPoints));cluster.setNumOfPoints(numOfPoints);System.out.println(&combineremitcluster:&+cluster.toString());context.write(key,cluster);}}publicstaticclassKMeansReducerextendsReducer{publicvoidreduce(IntWritablekey,Iterablevalue,Contextcontext)throwsIOException,InterruptedException{Instanceinstance=newInstance();intnumOfPoints=0;for(Clustercluster:value){numOfPoints+=cluster.getNumOfPoints();instance=instance.add(cluster.getCenter().。2、基于MapReduce的K-Means并行算法设计(最终版)tFormat.setOutputPath(clusterCenterJob,newPath(outputPath+&/cluster-&+(i+1)+&/&));clusterCenterJob.waitForCompletion(true);System.out.printne.split(&,&);value=newArrayList();for(inti=0;i();for(inti=0;igetValue(){returnvalue;}publicInstanceadd(Instanceinstance){if(value.size()==0)returnnewInstance(instance);elseif(instance.getValue().size()==0)returnnewInstance(this);elseif(value.size()!=instance.getValue().size())try{thrownewException(&cannotadd!dimensionnotcom。3、luster);}}}publicintrandomChoose(intk){Randomrandom=newRandom();if(random.nextInt(k+1)==0){returnnewRandom().nextInt(k);}elsereturn-1;}publicvoidwriteBackToFile(StringdestinationPath){Pathpath=newPath(destinationPath+&cluster-0/clusters&);FSDataOutputStreamfsi=null;try{fsi=fs.create(path);for(Clustercluster:kClusters){fsi.write((cluster.toString()+&\n&).getBytes());}}catch(IOExceptione){e.printStackTrace();}final................................................................。4、基于MapReduce的K-Means并行算法设计.docx());in=newBufferedReader(newInputStreamReader(fsi,&UTF-8&));while((line=in.readLine())!=null){Clustercluster=newCluster(line);cluster.setNumOfPoints(0);kClusters.add(cluster);}}}in.close();fsi.close();}publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{Instanceinstance=newInstance(value.toString());intid;try{id=getNearest(instance);if(id==-1)thrownewInterruptedException(&id==-1&);else{Clustercluster=newCluster(id,instance);cluster.se。5、基于,MapReduce,Means,并行,算法,设计,/clusteredInstances&+&/&));kMeansClusterJob.waitForCompletion(true);System.out.println(&finished!&);}publicvoidgenerateInitialCluster(){RandomClusterGeneratorgenerator=newRandomClusterGenerator(conf,sourcePath,k);generator.generateInitialCluster(outputPath+&/&);}publicstaticvoidmain(String[]args)throwsIOException,InterruptedException,ClassNotFoundException{System.out.println(&start&);Configurationconf=newConfiguration();intk=Integer.parseInt(args。6、clustercenters。每一个节点需要访问如下的全局文件:当前的迭代计数和K个表示不同聚类中心的如下的数据结构:{clusteridclustercenter属于该clustercenter的数据点的个数}这是唯一的全局文件。3.类说明(1).Instance该类对应文件中原始数据点的格式,以ArrayList存放数据点的各个分量。需要编写加法,乘法,除法函数,用于计算簇中心:簇中所有点相加/簇中数据点的个数。如果是在原有的簇中追加一个数据点,则用(簇中心点*簇中数据点个数+新的数据点)/(簇中数据点个数+1)。(2).Cluster该类记录簇的信息各个节点共享的全局信息,记录每次划分的簇的信息。(3).EuclideanDistance计算欧式距离,通过计算数据点与各个簇中心的距离,选择最小的欧式距离对应的簇中心作为该数据点属于的簇。(4).RandomClusterGenerator该类用于初始时生成k个簇中心,一开始将读入的每个节点作为簇中心,并为其分配一个ID,当达到k个时,以1/(1+k)的概率返回一个[0,k-1]中的正整数,将其对应的簇ID的簇中心替换。(5).KM(全文完)
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB281.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB282.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB283.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB284.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB285.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB286.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB287.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB288.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB289.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2810.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2811.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2812.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2813.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2814.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2815.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2816.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2817.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2818.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2819.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2820.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2821.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2822.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2823.swf
/FileRoot2//ebb6fc08-bb35-4126-be06-2cddcfbedb28/EBB6FC08-BB35-4126-BE06-2CDDCFBEDB2824.swf版权所有 & 《《计算机工程与应用》唯一官方网站》编辑部
通信地址: 北京619信箱26分箱 邮编: 100083 电话: (010) E-mail:
技术支持:
京ICP备号-1}

我要回帖

更多关于 mapreduce实现k means 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信