【360桌面 源码】【vb源码 转盘】【社区java源码】sparkui源码

1.tez和spark区别

sparkui源码

360桌面 源码

tez和spark区别

360桌面 源码

       tez的优势spark都有,并且tez其实缓冲优势并不大。而spark的缓冲效果更明显,而且可以快速返回。例如:你查3万条数据,tez是要全部查询然后再返回的,而sparksql取到3万条其他就不算了(效果看起来是这样子,具体没看源码实现;md hive-on-spark还是会全部跑)。

360桌面 源码

        tez任务缓冲不能共享,spark更加细化,可以有process级别缓冲(就是用上次计算过的结果,加载过的缓冲)!例如,你查数据记录同时又要返回count,这时有些操作是prcess_local级别的,这个tez是不能比的!

360桌面 源码

        spark的日志UI看起来更便捷,呵呵

360桌面 源码

更多内容请点击【焦点】专栏

精彩资讯