常用的大数据采集工具有哪些
[来源:未知 作者:永春小孩 发表时间:2022-10-28 09:57 阅读次数:]
大数据采集工具有哪些?下面就带大家了解一下: 常用的大数据采集工具Apache Flume、Fluentd、Logstash、Chukwa、Splunk Forwarder、八爪鱼等。 1、Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 2、Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发,使用JSON文件来统一日志数据。 3、Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。 4、Logstash用JRuby开发,所有运行时依赖JVM。 5、Apache Chukwa是apache旗下另一个开源的数据收集平台,它远没有其他几个有名,Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见,它用Java来实现),提供扩展性和可靠性。 6、在商业化的大数据平台产品中,Splunk提供完整的数据采金,数据存储,数据分析和处理,以及数据展现的能力。 7、八爪鱼是一款免费的、可视化免编程的网页采集软件,可以从不同网站中快速提取规范化数据。 以上就是关于大数据采集工具的分享,希望对大家有帮助。 标签: 大数据采集工具有哪些 |
Tags:
责任编辑:永春小孩相关文章列表
- 发表评论
-
- 最新评论 进入详细评论页>>