• Archive by category "大数据基础"
  • (Page 2)
Header
Header

Blog Archives

elasticsearch利器之shield权限控制插件安装

默认情况下elasticsearch可以不受限制访问,如果在外网的情况下就不安全了,所以,elastic官方提供了shield插件,可以实现权限控制,但是不好的地方就是这个插件是收费的,可以免费试用一个月。学习的角度来讲可以试试!阅读更多

storm配置项文件说明

storm的配置项详细信息只有在对应的版本的源码里面找配置文件才是最全的资料,下面对storm配置文件defaults.yaml说明做个记录,详细最新版本参考github的最新内容,具体地址是https://github.com/apache/storm/blob/v1.0.2/conf/defaults.yaml 强烈建议根据具体storm版本找对应的配置参考,这样才能避免踩比较多的坑。阅读更多

基于flume-ng+kafka+spark streaming实现日志收集分析

基于flume-ng+kafka+spark streaming可以快速实现日志收集分析功能,在架构上可以划分为三个模块:日志收集模块、日志分发模块、日志分析模块,在设计上考虑模块之间无缝衔接,以及实现日志收集分析时需要保障体系架构具有分布式、高扩展性、高可靠性、实时性的特点。阅读更多

Storm集群与单机部署与调优配置

Strom分为nimbus节点和Supervisor节点,在nimbus节点上启动nimbus进程和ui进程;在Supervisor节点启动supervisor进程和logview进程。Strom需要依赖JDK和Zookeeper,Zookeeper的部署不单独列出。nimbus机器负载不高,可以使用虚拟机进行部署,Supervisor节点会跑真正的业务,建议使用物理机进行安装配置。每台机器上可以启动的Worker数量可以根据业务情况单独来配置。阅读更多