客至汲泉烹茶, 抚琴听者知音

python

前言之前我整理收藏的图片时,都是简单粗暴地直接全部重命名为hash值,然后配合mongodb管理网络链接(参见python+mongodb+php个人管理图片方案),后来也加上了机器学习给不少图片打上了标签(参见用DeepDanbooru为二次元图片打上标签并存入数据库中),并且搞出了一个随机图API(参见用fastapi搭建随机图api)。但是最近参观了几个随机图API,发现有的返回值更加...

前言最近遇到了个需求,需要接收数据并且可视化展示出来,数据格式为DataFame。这个用Dash很容易实现,但实时更新就难搞了。Dash官方有定时刷新的组件,读取倒是不难,难点在于如何推送数据。经过这两天摸索,我找出了三个解决方案。存储到本地磁盘Dash官方有dash_core_components.Interval组件,这是一个计时器,可以设定时间间隔循环刷新页面。那么很自然的想法,我把生...

前言最近在写的策略框架需要对数据进行频繁读取,传统的sqlite肯定不考虑,因为数据量比较大,读取速度太慢,所以考虑使用其他格式存储数据。常见的df存储格式有csv,hdf5,feather,Parquet,本文将对这几种格式进行测试,看看哪一种格式最适合我。测试代码参考了以下代码:https://github.com/stefan-jansen/machine-learning-for-t...

前言我手头存了不少小说txt文档,一直都想整理一番,但是手工整理太累了所以也没动手。这半年来感觉我的python水平有了很大提升,于是打算写个程序帮我整理。首先是去重,因为txt文档来源于不同地方,标题作者名什么的有可能不一致,内容上排版稍微差一点hash值也就变了,所以无论是靠文件名还是hash值检测重复文档都不可靠,干脆直接检测文本的相似度吧。网上搜了一下别人写的代码,整合了一下实现了一...

前言之前工作的时候,需要写一个日内交易信号监控软件,预计的功能是实时更新数据,出现信号时有提示功能(比如颜色变化和声音提醒)。如果可能的话最好也有可视化功能。我第一时间就想到了plotly同家出品的Dash,它是一个python Web可视化框架库,之前就有兴趣学,但是因为懒所以一直没有入手。需求来了才开始看文档,边看边翻译、实践,花了几天就写出了一个简单的网站。我个人还是挺满意的,所以也打...

前言之所以想做这个 API,主要是我博客上有百度收录检测,但是速度有点慢,后来想想可能是因为服务器在国外,所以就有了把 API 搬到国内的想法。但是国内的 API 已经用 python 搭建了一个随机图服务,不好再加一个 PHP 吧?算了,干脆我重写一个 API 得了,于是就有了这个项目。代码已经放到 GitHub 上了,欢迎大家交流讨论。[scode type="yellow"]查询次数过...

最近一时兴起想好好搞一下我的 API 项目,用的自然是 python 的 fastapi 库。没做几个 API 就想到个问题:我怎么知道我的 API 有没有人用?解决方案当然就是统计一下 API 调用次数啦。网上搜了一下貌似没有 fastapi 简单可行的统计方案,没办法只能自己写了。那么首先我需要知道访客的 ip,这样相当于有个 key,也可以大致了解调用情况。去 fastapi 文档上查...

今天讲讲我在实习中学到的一点 python 知识,核心内容是多进程,也即我们常说的并行计算。map首先提个问题,给出一个列表,对列表中的每个元素都平方,代码怎么写?最简单直观的方法自然就是 for 循环。alist = [1,2,3,4,5,6,7,8] def power_value(num): return num**2 result_list = [] for num in...