前言之前我整理收藏的图片时，都是简单粗暴地直接全部重命名为hash值，然后配合mongodb管理网络链接（参见python+mongodb+php个人管理图片方案），后来也加上了机器学习给不少图片打上了标签（参见用DeepDanbooru为二次元图片打上标签并存入数据库中），并且搞出了一个随机图API（参见用fastapi搭建随机图api）。但是最近参观了几个随机图API，发现有的返回值更加...

前言最近遇到了个需求，需要接收数据并且可视化展示出来，数据格式为DataFame。这个用Dash很容易实现，但实时更新就难搞了。Dash官方有定时刷新的组件，读取倒是不难，难点在于如何推送数据。经过这两天摸索，我找出了三个解决方案。存储到本地磁盘Dash官方有dash_core_components.Interval组件，这是一个计时器，可以设定时间间隔循环刷新页面。那么很自然的想法，我把生...

前言最近在写的策略框架需要对数据进行频繁读取，传统的sqlite肯定不考虑，因为数据量比较大，读取速度太慢，所以考虑使用其他格式存储数据。常见的df存储格式有csv，hdf5，feather，Parquet，本文将对这几种格式进行测试，看看哪一种格式最适合我。测试代码参考了以下代码：https://github.com/stefan-jansen/machine-learning-for-t...

前言我手头存了不少小说txt文档，一直都想整理一番，但是手工整理太累了所以也没动手。这半年来感觉我的python水平有了很大提升，于是打算写个程序帮我整理。首先是去重，因为txt文档来源于不同地方，标题作者名什么的有可能不一致，内容上排版稍微差一点hash值也就变了，所以无论是靠文件名还是hash值检测重复文档都不可靠，干脆直接检测文本的相似度吧。网上搜了一下别人写的代码，整合了一下实现了一...

前言之前工作的时候，需要写一个日内交易信号监控软件，预计的功能是实时更新数据，出现信号时有提示功能（比如颜色变化和声音提醒）。如果可能的话最好也有可视化功能。我第一时间就想到了plotly同家出品的Dash，它是一个python Web可视化框架库，之前就有兴趣学，但是因为懒所以一直没有入手。需求来了才开始看文档，边看边翻译、实践，花了几天就写出了一个简单的网站。我个人还是挺满意的，所以也打...

前言之所以想做这个 API，主要是我博客上有百度收录检测，但是速度有点慢，后来想想可能是因为服务器在国外，所以就有了把 API 搬到国内的想法。但是国内的 API 已经用 python 搭建了一个随机图服务，不好再加一个 PHP 吧？算了，干脆我重写一个 API 得了，于是就有了这个项目。代码已经放到 GitHub 上了，欢迎大家交流讨论。[scode type="yellow"]查询次数过...

最近一时兴起想好好搞一下我的 API 项目，用的自然是 python 的 fastapi 库。没做几个 API 就想到个问题：我怎么知道我的 API 有没有人用？解决方案当然就是统计一下 API 调用次数啦。网上搜了一下貌似没有 fastapi 简单可行的统计方案，没办法只能自己写了。那么首先我需要知道访客的 ip，这样相当于有个 key，也可以大致了解调用情况。去 fastapi 文档上查...

今天讲讲我在实习中学到的一点 python 知识，核心内容是多进程，也即我们常说的并行计算。map首先提个问题，给出一个列表，对列表中的每个元素都平方，代码怎么写？最简单直观的方法自然就是 for 循环。alist = [1,2,3,4,5,6,7,8] def power_value(num): return num**2 result_list = [] for num in...