chenlinux.com
【翻译】kibana 的聚合执行次序
http://chenlinux.com/2015/02/25/kibana-aggregation-execution-order-and-you
原文地址 http:/ www.elasticsearch.org/blog/kibana-aggregation-execution-order-and-you/. 可能现在你已经发现了 Kibana 4 的 Visualize 界面上那些狡猾的小箭头，然后会问 你们在那干嘛呢 有啥用啊 嗯，这些按钮是用来控制聚合执行次序的。 这个就定义了 Elasticsearch 如何分析你的数据，以及 Kibana 如何展示结果。 什么叫 最活跃的用户 让我们多加几个参数 一年时间，按照每周，计算前 5 名用户。 这个截屏里，我们先运行时间轴柱状图(date histogram)，然后再问前 5 名用户。 这就会给一年的每个星期创建一个桶(bucket，译者注 ES 的 聚合 API 响应内容就是以 bucket 存在的)。 在每个星期里，我们找到前 5 名用户，所以在这种情况下，每周的前 5 名用户，可能都是不一样的，最后在图例里，你就看到超过 5 个用户了。 现在，我们点击向上箭头，把 terms 聚合移到 date histogram 上面来。 Elastic 官方压测工具 rally 试用.
chenlinux.com
spark streaming 和 spark sql 结合示例
http://chenlinux.com/2015/02/13/spark-streaming-sql
Spark streaming 和 spark sql 结合示例. 之前在博客上演示过如果在 spark 里读取 elasticsearch 中的数据。 自然往下一步想，是不是可以把一些原先需要定期请求 elasticsearch 的监控内容挪到 spark 里完成 这次就是探讨一下 spark streaming 环境上如何快速统计各维度的数据。 Spark 是用 scala 写的，scala 的打包工具叫 sbt。 Sudo port install sbt. Mkdir -p ./logstash/src/main/scala/. 注意，因为 spark 只能用 pull 方式获取数据，所以 logstash/output/tcp 必须以. Output { tcp { codec = json lines mode = 'server' port = 8888 } }. Orgapache.spark.streaming.StreamingContext. Scalautil.parsing.json.JSON. 进阶 数据映射和 SQL 处理. 来转换成 spark SQL 支持的表类型。
chenlinux.com
spark streaming 接收 kafka 数据示例
http://chenlinux.com/2015/03/14/spark-streaming-kafka
Spark streaming 接收 kafka 数据示例. 上个月曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。 不过如果你有多台 logstash 的时候，这种方式就比较难办了 即使你给 logstash 集群申请一个 VIP，也很难确定说转发完全符合。 所以一般来说，更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。 Cd kafka 2.10-0.8.2.0/bin/ ./zookeeper-server-start.sh ./config/zookeeper.properties & ./kafka-server-start.sh - daemon ./config/server.properties. 保持跟之前示例的连贯性，这里继续用 logstash 发送数据到 kafka。 首先创建一个 kafka 的 topic. Orgapache.spark.streaming.StreamingContext. 第二个，之前示例里用了 scala 核心自带的 JSON 模块。
selboo.com
SelBoo's Blog 色萝卜
http://www.selboo.com/page/1/8
2011/07/19 15:14 by selboo. 如果你今天面对的是disk image而不是一般的partition image，当使用mount -o loop是将无法mount成功。 需求: mount test.img 并更改第一个partition中的某个文件. Code]lawrence@lawrence-x24: /Desktop$ sudo mount -o loop test.img /mnt/test/. Mount: you must specify the filesystem type. Lawrence@lawrence-x24: /Desktop$ sudo mount -o loop -t ext3 test.img /mnt/test/. Mount: wrong fs type, bad opti[. Linux NAT ip conntrack: table full. 2011/07/02 18:05 by selboo. Ip conntrack: table full, dropping packet. 查出原本的 ip conntrack max 值:.
basiccoder.com
basic coder » epoll
http://basiccoder.com/tag/epoll
I am just a coder…. 文章标签 ‘epoll’. 一月 4th, {2012. Usocket我简单了解了一下没有真正拿来用，它的API比较简单，文档写得比较全面，相比之下，iolib要比usocket强大的多，但缺点是文档太少，官方的文档可用的内容非常少，但如果能阅读一下iolib的相关源码，就会发现其实iolib是一个很强大的网络编程库，其中包含了DNS解析，socket基本操作 bind,listen等等 ，IO多路复用以及通常用来做IPC的socketpair，而且iolib的multiplex用起来有种libevent的感觉，用iolib可以实现一般的应用层网络编程，至于是否支持raw socket，我还没仔细研究，不过感觉应该问题不大。 上放出过去的几个月程序包的下载排行 如 Project download stats for November. Bind-address socket (. Ensure-address 127.0.0.1. Accept-connection socket ). Who port ). Who port ). 对于iolib的passi...
basiccoder.com
basic coder » 读书
http://basiccoder.com/tag/读书
I am just a coder…. 文章标签 ‘读书’. 四月 20th, {2013. 中国的历史是帝王的历史，相比之下美国的历史则是平民的历史，这一点也不假，那么厚的一本 光荣与梦想 也不过讲了区区四十年的美国历史，刨除几个大的历史事件，绝大多数篇幅都在描述民众生活常态，以至于读起来会感觉枯燥很多，甚至一部 阿甘正传 都能概括美国大半部历史，相比之下四十年在中国的历史长河中不过是弹指一瞬，中国有太多的四十年，有太多的朝代更迭，帝王更替，而在这漫长的历史中最不值钱的也最不值得一提的便是平民百姓，思想被禁锢被奴化的中国人最容易被历史淡忘，于是历史上只留下了帝王将相。 三月 17th, {2013. 网络上对于刘瑜的评论似乎趋向于两个极端，说她好的自然大有人在，说她不好的也不在少数，还有人调侃地把她和安妮宝贝和孤郭敬明相提并论，不同的人有不同的政治立场，刘瑜作为一名时评作家，她的观点自然有人赞同有人反对，这都无可厚非，不管是 民主的细节 还是刚读完的这本 观念的水位 ，对我而言都是非常有营养的。 网络兴起确实促进了公众观念的提高，虽然我们的信息仍然受到层层封锁，但信息流速之快总让我们有意无意间捕捉到那...
basiccoder.com
basic coder » Emacs
http://basiccoder.com/tag/emacs
I am just a coder…. 文章标签 ‘Emacs’. 十二月 13th, {2011. 于是几乎同一时间我开始尝试使用Emacs并在卓越上订购了中文版的 实用Common Lisp编程 ，抽空阅读尝试。 ASDF全称是Another System Definition Facility，asdf这个组合很有意思，正好和左手的键盘基本按键重合，当初还以为是作者很有个性地起了这个随意的名字呢。 目前存在的common lisp实现有很多，在这篇文章中有介绍 Common Lisp Implementations: A Survey. 免费的common lisp实现中性能比较好使用也比较简单的应该属sbcl了， practical common lisp 也推荐了sbcl，作为一个新手我第一选择当然也选了sbcl，在sbcl中已经集成了asdf工具，无需再手动安装，但安装方法也很简单，可以参考 ASDF Manual. Config/common-lisp/source-registry.conf.d/01-spider-source.conf. 最开头的包定义是为了防止system名与其它包...
selboo.com
SelBoo's Blog 色萝卜
http://www.selboo.com/page/1/3
2012/05/21 13:23 by selboo. This is The Text Code. Root@localhost ]# vi /etc/sysconfig/network. Parsed in 0.009 seconds at 13.47 KB/s. 2012/05/08 18:21 by selboo. MAC 1111.2222.3333. This is The Code. Switch04(config-if)#switchport port-security mac-address 1111.2222.3333 # 绑定MAC地址. Switch04(config-if)#switchport port-security # 启动安全端口. Switch04(config-if)#switchport port-security maximum 1 # 最大只允许1个MAC地址. Switch04(config-if)#switchport port-security violation shutdown # 如果不匹配测 shutdown 接口. Http:/ pypi&#...
selboo.com
用户列表 - SelBoo's Blog 色萝卜
http://www.selboo.com/view.php?go=userlist
为openSUSE添加 RAID 驱动 操作笔记. SVN 通过 Windows AD 域认证. 我是loganalyzer3.6.3,增. Powered by Bo-Blog 2.1.1 Release. Hosted by RASHOST VPS.
