在最近微信8.0.56加入了LiveCommunicationKit来代替之前的CallKit方案，而且灰度了很多人。 但是还是没被选中怎么办，那就开始骚操作 给自己加入灰度名单 方法很简单 把自己的微信退出登陆 用其他的微信号给自己打微信电话，一直响铃直到超时挂断 打一到两次 然后再次登陆，就可以在设置->消息通知 里看到”语音通话时使用弹窗接听“大概是这个选项，那就说明已经进灰度名单了。 但是这个还只是LiveCommunicationKit，和系统电话有点区别，所以要使用CallKit的话 使用CallKit 降级微信，降级到8.0.54，使...

Jina Reader-LM 是一系列将 HTML 内容转换为 Markdown 内容的模型，这对于内容转换任务非常有用。该模型在经过精心挑选的 HTML 内容及其对应的 Markdown 内容集合上进行了训练。并且有0.5b和1.5b大小的模型，简直是老头乐上都能运行。 许可证：CC-BY-NC-4.0 什么是Reader-LM 在2024年4月Jina推出了一个api，通过此接口可以将任意HTML网页转换为Markdown格式文本。 首先，我们使用无头 Chrome 浏览器获取网页源代码。然后，我们利用 Mozilla 的 [Readability](https://gi...

亚马逊云科技提供全场景的云计算产品服务，在国内外均提供有业务支持，尤其在境外的企业场景中也是占有很大的份额。现在针对新用户提供部分产品长达12个月的免费试用以及部分产品的永久免费 使用，境外任选亚马逊云科技海外区域节点产品110种。 不过既然是自己使用还是选择境外区比较省心，在境内的话开设网站还需要备案什么的，所以我们就直接注册使用境外区吧。 免费产品 亚马逊云科技提供了多种产品[免费试用](htt...

在这个项目中我仅使用了MongoDB来存储图片的元信息。在项目刚开始时并没有多少请求，所以MongoDB的Query速度并没有多少影响，但到了如今每月1M次请求的情况下，查询速度已经是不可回避的问题了。 原始Document Sample 图片元信息 在mongo中存在的最新基本格式如下，不同时间段的数据会有些许差异，部分字段并未开放到API中。 { "_id": 322412, "created_at": 1611707779, "creator_id": 210352, "author": "Arsy", "change": 1971738, "s...

AnimeApi（pic.re）是我的一个二次元图片壁纸提供API项目，任何人都可以通过此API在网络中获取随机或者带条件的随机方式获取一张图，或者是json结构体。 在接下来的不定时间内我会随心来解释这个项目的架构以及在开发运行遇到的一些优化点和更新内容。 也不知道有没有人看，不过在写这一系列的文章也算是帮我重新清理一下思路。 总体架构 Pic.re整套系统分为两块部分： 数据前处理模块 AnimeApi图片分发服务器 数据的收集以及前处理 这一整块模块还分为： 收集模块 重新分类打标模块 数据收集 整站的所有数据来源都是基于kona...

最近本想使用一些视觉模型来处理一些图片，目前参数和性能对我的32G mac都比较合理的应该是Qwen2-vl int4量化模型，但是llama.cpp对这个视觉模型的支持还是停留在Draft的阶段，导致Ollama也没能对他提供支持。 至于vllm官方支持大头还是linux和cuda。 于是发现了另一款LM Studio，这款软件支持使用huggingface上的gguf和mlx格式模型。支持提供OpenAI兼容API，还自带一个Chat功能。确实比Ollama只能用CLI方便很多。 这款软件底层使用llama.cpp运行gguf，在Mac的M系列上还支持mlx，就是Apple专门为M系...

使用国补买的Mac Mini M4终于是到了，最低配3599的价格（如果双十一还能叠券到3400），这一代M4最终把画面输出能力升级到3屏，规则有点复杂。 通过雷雳端口连接两台分辨率最高达 6K (60Hz) 的显示器，同时通过雷雳端口连接一台分辨率最高达 5K (60Hz) 的显示器或通过 HDMI 端口连接一台分辨率最高达 4K (60Hz) 的显示器 通过雷雳端口连接一台分辨率最高达 5K (60Hz) 的显示器，同时通过雷雳端口或 HDMI 端口连接一台分辨率最高达 8K (60Hz) 的显示器或一台分辨率最高达 4K (240Hz) 的显示器 总之就是最低端的M4也能多屏使...

前言 将模型量化到较低精度的格式（如8bit或4bit）可以显著降低计算成本并加速推理。然而，一直存在一个问题：这些量化的模型是否能保持相同的准确性和质量。最近，机器学习(ML)社区对量化的大型语言模型（LLMs）能否真正与其未压缩的版本在准确性和生成响应的整体质量上相竞争表示了重大关切。 正文 最近看到Neural Magic发布的一篇研究模型量化对于模型精度的影响的文章。 [https://neuralmagic.com/blog/we-ran-over-half-a-million-evaluations-on-quantized-llms-heres-what...

在Ollama支持函数调用、QWen2.5也开开源了出了一大堆参数尺寸的模型之后这么久才来写这一篇介绍Tools的基本用法，就是因为在这期间也用过好几家大语言模型平台，虽然文档中表明兼容OpenAI API接口，但是在使用一些需要使用Tools功能的工具中时，还是出现了一大堆不兼容的问题，或多或少都有一点输出内容的差异导致解析失败。 所以在当今以OpenAI API有先发优势成为为LLM API标准的今天还是重新学习一下Tools接口的使用方法。 介绍 Function calling现在是构建LLM应用的一个重要的组件，尤其是他通过上下文生成的输出内容格式化为固定的格式，而不是自...

Ollama的vison模型支持一直都特别慢，在之前也只有llava和minicpm支持，之后也一直没有给其他模型添加。 现在是终于添加了新的多模态模型支持，不知道新的多模态什么时候也加进去。 https://github.com/ollama/ollama/releases/tag/v0.4.0-rc5 这次0.4的主要更新内容 improved performance on new generation NVIDIA graphics cards (e.g. RTX 40 series) 在新世代 NVIDIA 图形卡（如 RTX 40 系列）上提升了性能 ...