PostgreSQL 性能优化小技巧 2025-11-17 在 PostgreSQL 中,EXPLAIN 命令可以帮助我们了解查询的执行计划,包括使用什么索引、使用的 JOIN 算法、在哪里耗时最多。 通过结合 ChatGPT,我们即使刚接触 EXPLAIN 也能快速理解执行计划中的各个部分。只需将 EXPLAIN 的输出复制粘贴到 ChatGPT 中,并询问它关于查询性能的建议,ChatGPT 可以帮助我们识别潜在的瓶颈并提供优化建议。 ...
【WIP】 《量产自动驾驶》笔记 2025-10-26 1986 年:卡梅隆大学 NavLab 1,神经网络,五台 PC,20km/h 1995 年:卡梅隆大学 NavLab 5,加装前视摄像头、GPS 2009 年:Google 研发自动驾驶汽车 2013 年:百度深度学习研究院启动自动驾驶项目 Robotaxi 成本不敏感,硬件可以在汽车量产后加装,计算平台可以使用 x86。 量产自动驾驶对成本敏感,硬件需要在整车设计阶段考 ...
OpenTelemetry tracing 实测 2025-10-13 OpenTelemetry (OTel) 是一个开源可观测性框架,可允许开发团队以统一的单一格式生成、处理和传输遥测数据。它是由云原生计算基金会 (CNCF) 开发的,旨在提供标准协议和工具,以便收集指标、日志和跟踪并将其发送到监测平台。 OpenTelemetry 提供独立于供应商的 SDK、API 和工具,以便您可以将数据发 ...
两个 FRP 客户端共享服务器上的同一个 HTTPS 443 端口 2025-09-18 如果你用过 frp,应该知道可以把家里服务器的 80 和 443 端口映射到公网服务器的 80 和 443 端口,再配合 Caddy / Nginx 服务,就可以用域名访问家里服务器上的网站了。 这个方案的优点有: 家里服务器不需要有公网 IP,也不需要暴露 80 和 443 端口(frpc 每次会使用随机端口连接到服务器),因此也没有被运营商封端口的风险 后续 HTTP/HTTPS ...
Python 内存占用分析 2025-04-19 最近公司的 Python 后端服务内存占用偏高,所以花了一些时间分析后端的内存占用。也梳理了一些比较好用的工具和分析方法。 在我们的场景下,我们发现内存占用异常是在服务运行了一段时间以后,所以下面的工具链更偏向于分析应用运行时的内存占用长期持续增长趋势。 tracemalloc 提到 Python 内存分析,一定会有 tracemalloc,毕竟是内置的内存追踪工具。 但是实 ...
使用 SeaTunnel 将数据从 PostgreSQL 同步到 Doris 2025-03-09 最近有个需求是把 PostgreSQL(百万行数据规模)的数据准实时同步到 Doris。问了一圈 ChatGPT,ChatGPT 有提到 Flink 和 Apache SeaTunnel。Flink 是鼎鼎有名的 ETL 工具,而 SeaTunnel 之前没听说过。多问了 ChatGPT 几轮,了解到 SeaTunnel 是一个轻量化、上手快的工具。体验了一下,果然非常省事,开发效率很高,对于 ...
使用 Pyenv 和 Pipenv 配置 Python 开发环境 2025-01-18 Linux 和 MacOS 系统都自带了 Python,对于初学者来说是件好事,不用安装也能直接使用。但是在工程开发上往往需要在不同的项目使用不同的 Python 版本,相同的 Python 下使用不同的依赖。 在最新的 Ubuntu、Manjaro 等系统中直接使用 pip install 安装依赖时,会提示可能会破坏系统依赖([PEP 668](https://peps.python.o ...
采集 Tiktok 商家数据 2024-10-26 前几天和原来的同学聊天,同学之前一直都是做跨境电商的,最近开始做起了Tiktok。他之前没做过兴趣电商,也不了解这个怎么做,就问问我能不能帮忙在上面弄点数据下来,他来研究研究。正好我也想看看TK的系统是怎么设计的,一拍即合,我就接下了这个活。大概的需求就是通过商家后台去爬取一些达人客户还有订单的数据和自动上架一些产品。 调研 认证 TK的认证和所有的HTTP服务都一样,都是采用 ...
降低 CPU 功耗 2024-08-24 前段时间买了国产的 Ryzen 7840H 迷你主机 24 小时开着当服务器,它的整机待机功耗也就 10-15W,比动辄 100W 的桌面端省电不少。但据说桌面端 CPU 也可以通过调节 BIOS 降低待机功耗,毕竟桌面端和移动端是同一个架构,只是出厂调节不一样。所以今天浅浅尝试了一下降低台式的功耗。 省流:通过调节 Curve Optimizer,低负载下 CPU 封装功耗从 65w 降到了 ...
《深入剖析 Kubernetes》 笔记 - 网络 2024-07-01 本篇是《深入剖析 Kubernetes》 的读书笔记,作者为张磊老师。 本章讲述了 Kubernetes 的网络模型,会相较于 Pod、存储章更难一些,且需要有一定的计算机网络的知识作为前置。 单机容器网络架构 在单机容器网络架构中,容器和宿主机、容器和容器之间的通信,需要借助两样东西,一是网桥(Bridge),二是虚拟网卡(Veth Pair, Vet ...