qinxuye.me
残阳似血的博客
http://www.qinxuye.me/page/8
发表于2011年4月19日 9:03 pm 位于分类 我爱Python. Basic auth 需要强调的是，微博开放平台将于6月1日正式停止Basic Auth的支持。 发表于2011年4月18日 7:38 pm 位于分类 一箩筐. 我们今天要讨论的问题大意是 给定一个数n，判断是否存在一个数m，使得 n = ∑i! 仔细考虑可以注意到，n的最大值为1000000，小于32位机器上的int型的最大值 2 31-1 ，最先可能想到的是枚举法，由于10! 注意到，对于一个整数k k 1 ，0! 左边 k * (k-1)! Le; n 且 (j 1)! 因此，当n = n - j! Public final static int count = 10; public static int[] Facs(){ int temp = 1; int[] facs = new int[count]; for(int i=0; i count; i ){ if(i! 发表于2011年4月14日 9:06 pm 位于分类 一箩筐. 发表于2011年4月13日 11:12 pm 位于分类 我爱Python. Def bu...
qinxuye.me
windows下安装opencv - 残阳似血的博客
http://www.qinxuye.me/article/install-opencv-in-windows
发表于2011年7月14日 5:41 pm 位于分类 一箩筐. Open source computer vision library 是一个基于C/C 语言的开源图像函数处理库。 Cv —— 核心函数库. Cvaux —— 辅助函数库. Cxcore —— 数据结构与线性代数库. Highgui —— GUI函数库. Ml —— 机器学习函数库. 直接下载 OpenCV-2.2.0-win32-vs2010.exe文件。 安装过程中勾选“Add OpenCV to system PATH for all users”选项。 当然也可以安装完毕添加，在环境变量path中添加“ 安装路径 /opencv/bin/”. 另外一种是源码安装 压缩包地址也 可以在 这里. 安装完成后，打开cmake-gui，设置路径为OpenCV安装路径 本文档假定安装位置为 C: OpenCV2.2，即下载的压缩包解压地址 ，并创建子目录C: OpenCV2.2 vs2010，用于存放编译结果。 导出完成后，转到项目文件 本例在C: OpenCV2.2 vs2010下 ，打开OpenCV.sln文件。 Opencv core...
qinxuye.me
博客分类我爱Python -残阳似血的博客
http://www.qinxuye.me/category/python
博客分类 ‘我爱Python’. 发表于2012年11月15日 10:48 am 位于分类 我爱Python. 发表于2012年11月8日 6:55 pm 位于分类 我爱Python. 发表于2012年2月22日 12:09 am 位于分类 我爱Python. 当时，新浪微博只支持OAuth1.0，现在已经支持2.0版本，OAuth2.0协议进行了简化，且access token将不能永久使用，它存在一个过期时间。 对于OAuth2.0，以Google帐号为例 Google也支持 OpenID方式. 发表于2011年8月10日 8:06 pm 位于分类 我爱Python. 这种对及时性要求比较高的应用比如 股票价格的查询，实时的商品价格，自动更新的twitter timeline以及基于浏览器的聊天系统 如GTalk 等等。 本文将对这几种方式进行说明，并用jQuery tornado进行演示，需要说明的是，如果对tornado不了解也没有任何问题，由于tornado的代码非常清晰且易懂，选择tornado是因为其是一个非阻塞的(Non-blocking IO 异步框架 本文使用2.0版本。
qinxuye.me
Dpark源码剖析一（概述） - 残阳似血的博客
http://www.qinxuye.me/article/dpark-source-code-analysis-1
发表于2014年3月10日 12:48 pm 位于分类 分布式计算. Dpark/Spark中最重要的核心就是RDD 弹性分布式数据集，Resilient Distributed Datasets ，为了给今后的分析打下基础，这篇文章首先会解释RDD相关的重要概念。 接着会简单介绍dpark中的另外两个重要核心Accumulator 累加器 和Broadcast 广播变量 ，关于这两者这里只做简单介绍，我们后面会对分别单独对源码做分析。 类似于spark，dpark也是master-slave架构的，但不同于spark，dpark中仅提供了三种运行方式 本地模式 local，单进程 、多进程模式 实际上也是单机 以及mesos模式 使用mesos来调度达到分布式计算的目的。 但是数据量太大，怎么办 尝试把数据分成各个分片 split ，每个分片对应着一部分数据，这样可以将一个RDD分开来存取和执行运算。 在dpark中，一个RDD中的元素通常来说有两种 一种是单一的值，还有一种是key和value组成的对 元组表达，(key, value)。 Dorothycooper578 在文章 Go语言性能测试 ...
qinxuye.me
博客分类编程语言 -残阳似血的博客
http://www.qinxuye.me/category/program_language
博客分类 ‘编程语言’. 发表于2012年8月28日 7:36 pm 位于分类 编程语言. 实验环境是Visual studio2010/.net framwork 4.0编译，Intel core2 P7570 2.26GHz主频。 VC 编译器选项参照了原作者，而chrome浏览器版本为21.0.1180.60 m，Java版本为1.7.0 03，Go版本为1.0.2。 在最新版build 16323版下花费 2319.813秒，还是比较慢的，不过有了一些改进。 发表于2011年11月26日 5:38 pm 位于分类 编程语言. 大概在一年前，看到一个作者写了两篇文章，使用计算密集型的例子来比较了各个语言的性能 C# vs C 全局照明渲染性能比试. 本人的实验环境是Visual studio2010/.net framwork 4.0编译，Intel core2 P7570 2.26GHz主频。 发表于2011年11月21日 7:52 pm 位于分类 编程语言. Public class ProducerConsumer { public static void main(String[] arg...
qinxuye.me
博客分类胡言乱语 -残阳似血的博客
http://www.qinxuye.me/category/balabala
博客分类 ‘胡言乱语’. 发表于2012年12月13日 3:33 pm 位于分类 胡言乱语. 首先是我的导师讲的 海量数据分析 ，课程有四个基于Hadoop的实验，第一个实验行索引 Line Indexer 比较简单 第二个实验反向倒排索引 Inverted Index ，我在其中实现了简单的中文分词，并除了支持倒排索引，还支持搜索和结果的高亮 第三个PageRank，我在极大数据量的wiki语料上算出了结果 第四个实验Kmeans，也是独立完成。 另外一门是 分布式计算 的课程写一个云备份的工具，支持文件备份到多种云里，我完成主要设计，并实现了支持S3、微盘和Google Cloud Storage API。 发表于2012年11月7日 3:27 pm 位于分类 胡言乱语. 很多网站都有收藏的功能，对我来说，Google reader里订阅了一些feed，看到不错的文章，就习惯在上面加星 新浪微博里，我也会收藏一些不错的微博 我也常用收藏夹来保存一些不错的网站。 做了个小应用——马克聚，地址在 http:/ www.makeju.com. 发表于2011年5月13日 4:34 am 位于分类 胡言乱语.
qinxuye.me
Dpark源码剖析 - 残阳似血的博客
http://www.qinxuye.me/article/dpark-source-code-analysis
发表于2014年3月4日 7:19 pm 位于分类 分布式计算. 除此之外，Spark能以本地多线程方式运行 local模式 ，也能以脱离mesos和Yarn的方式运行 standalone模式。 由于dpark翻译的时间较早 应该是spark 0.5前的版本，而spark目前最新版本已经是0.9 ，支持已经非常陈旧了。 地址 http:/ velocity.oreilly.com.cn/2011/ppts/dpark.pdf. DPark MooseFS 应该可以做到被所有基于Hadoop的Python框架更快, 因为它底层的依赖最轻, 没有JVM的拖累启动任务也很快. DPark 在Shuffle时不排序, Reduce 时尽量多使用内存. 熟悉分布式数据分析 DataFrame并行化框架 、基于图模型的分布式数据库和并行计算、Dpark/Spark以及Python web开发 Django、tornado 等。 Python中time模块详解 发表于2011年5月5日 12:58 am. 一个简单的分布式新浪微博爬虫 发表于2012年12月17日 12:54 am.
qinxuye.me
Browser和Server持续同步的几种方式（jQuery+tornado演示） - 残阳似血的博客
http://www.qinxuye.me/article/ways-to-continual-sync-browser-and-server
发表于2011年8月10日 8:06 pm 位于分类 我爱Python. 这种对及时性要求比较高的应用比如 股票价格的查询，实时的商品价格，自动更新的twitter timeline以及基于浏览器的聊天系统 如GTalk 等等。 本文将对这几种方式进行说明，并用jQuery tornado进行演示，需要说明的是，如果对tornado不了解也没有任何问题，由于tornado的代码非常清晰且易懂，选择tornado是因为其是一个非阻塞的(Non-blocking IO 异步框架 本文使用2.0版本。 基于AJAX和基于IFrame的 流 streaming 方式. 基于AJAX的 长轮询 long-polling 方式. Var polling = function(){ $.post('/polling', function(data, textStatus){ $("p").append(data ". Interval = setInterval(polling, 1000);. Comet 基于HTTP长连接的“服务器推”技术. Class StreamingHandler(tornado....
qinxuye.me
Django mptt介绍以及使用 - 残阳似血的博客
http://www.qinxuye.me/article/introduction-and-usage-of-django-mptt
发表于2011年4月25日 5:19 pm 位于分类 我爱Python. Mptt就显得大材小用了，因为Django已经有内置模板过滤器来完成这个工作 unordered list 官方文档. From django.db import models class Food(models.Model): title = models.CharField(max length=50) parent = models.ForeignKey("self", blank=True, null=True, related name="children") def unicode (self): return self.title. Food', ['Fruit', ['Red', ['Cherry'], 'Yellow', ['Banana'] , 'Meat', ['Beef', 'Pork'] ]. Var unordered list }. 对于继承MPTTModel的类的实例，将会有额外的方法，比如get ancestors 更多参考 文档. Python manage.py shell. From dja...
qinxuye.me
博客分类分布式计算 -残阳似血的博客
http://www.qinxuye.me/category/distributed_computing
博客分类 ‘分布式计算’. 发表于2016年4月6日 3:13 pm 位于分类 分布式计算. Ldquo;……”。 但是，如果这个开发同学使用PyOdps 0.4 版本新特性，一切就都轻松写意了。 其实对于04之前的版本，本地数据上传的接口也很容易 但是无法使用DataFrame API来进行本地过滤 ，但是对于0.4版本，不管一个Collection是存在于ODPS还是本地，用户都可以执行join和union的操作。 所以，除了过去使用odps.models.Table来初始化DataFrame，我们也可以使用pandas DataFrame来初始化。 DEBUG = True if DEBUG: # 这个操作使用tunnel下载，因此速度很快。 Df = ratings[:100].to pandas(wrap=True) else: df = ratings. PyOdps DataFrame API也提供 MapReduce API. 安装方法 pip install pyodps. 文档 http:/ pyodps.readthedocs.org/. In [19]: iris = o....
