Clik here to view.
Notes: Hadoop-based open source projects
Here's my notes about introduction and some hints for Hadoop-based open source projects. Hope it's useful to you. Management Tool Ambari: A web-based tool for provisioning, managing, and mon...
View ArticleHadoop无法解决的问题
因为项目的需要，学习使用了Hadoop，和所有过热的技术一样，“大数据”、“海量”这类词语在互联网上满天乱飞。Hadoop是一个非常优秀的分布式编程框架，设计精巧而且目前没有同级别同重量的替代品。另外也接触到一个内部使用的框架，对于Hadoop做了封装和定制，使得更满足业务需求。我最近也想写一些Hadoop的学习和使用心得，但是看到网上那么泛滥的文章，我觉得再写点笔记一样的东西实在是没有价值。倒不...
View ArticleClik here to view.
给我一把榔头，满世界都是钉子
一篇文章存成一个巨大的文件，总共大约有一亿个单词，要找出里面重复次数最多的。怎么做？ Hadoop是一把威力巨大的榔头，在使用过Hadoop之后，看着任何东西都想把它给map reduce了。有一个关于Jeff Dean的小笑话，说在睡不着觉的时候，一般人是数羊，Jeff Dean是map reduce他的羊群。所以，我的办法是，把这个文件拆分成若干个小文件，在map过程用hash算法保证相同的...
View ArticleClik here to view.
Hadoop的Secondary Sorting
这几天项目中使用Hadoop遇到一个问题，对于这样key-value的数据集合：id-biz object，对id进行partition（比如根据某特定的hash算法P），分为a份；使用数量为b的reducer，在reducer里面要使用第三方组件进行批量上传；上传成文件，文件数量为c，但是有两个要求： 上述a、b、c都相等，从而使得每个partition的数据最终都通过同一个reducer上...
View ArticleClik here to view.
Hadoop的Map-side join和Reduce-side join
Hadoop中连接（join）操作很常见，Hadoop“连接”的概念本身，和SQL的“连接”是一致的。SQL的连接，在维基百科中已经说得非常清楚。比如dataset A是关于用户个人信息的，key是用户id，value是用户姓名等等个人信息；dataset B是关于用户交易记录的，key是用户id，value是用户的交易历史等信息。我们当然可以对这两者以共同键用户id为基准来连接两边的数据。 首...
View Article
