网页内容抓取
yasina-web-crawl把指定网页抓成干净正文,供后续阅读与分析。
这个技能能做什么
把一个已知网址的正文取回来 —— 用户贴来链接想知道里面写了什么时,直接抓比让他复制粘贴长文更省事,也不会在复制时丢格式。返回清洗后的完整正文文本(去掉导航、广告、脚本)、实际抓取的 URL(可能因跳转与传入的不同)与站点图标。适合读平台公告原文、政策条款全文、供应商与工厂页面、行业文章、认证机构的要求页。限制:只支持 http / https,URL 最长 2048 字符,单次只抓这一页不跟随链接往下爬,内网与云元数据地址会被拒绝(那是安全设计 —— 放开等于让服务变成内网探测跳板)。当用户提到读一下这个链接、看看这个页面、抓取这个网址、这个页面写了什么、这链接里说了什么、把这篇文章取回来、解析这个 URL、打开这个链接、这个公告的原文、条款全文、页面正文、crawl this url, fetch this page, read this link, extract page content, scrape url 时触发此技能。即使用户未明确提及“抓取”,只要其消息里给出了一个具体网址并希望了解该页面的内容,也应触发。不适用于:还不知道具体网址、需要先找信息(用 yasina-web-search,它的结果里已带正文片段,往往不必再抓)、亚马逊商品页(用 yasina-amazon-product-detail,那个给的是结构化字段:五点描述、规格表、星级分布,比一坨纯文本有用得多)、批量抓取整站或多页。
怎么用
复制下面这句话,发给你的 AI 助手(WorkBuddy、Claude Code、Codex 都可以):
下载 https://plusskill.oss-cn-guangzhou.aliyuncs.com/skills/yasina-web-crawl.zip 并安装这个 skill,然后阅读这个 skill 告诉我如何使用
助手会自动下载安装并读懂用法,然后告诉你能问它什么。 首次使用它会引导你用手机号注册,赠送 50 积分。
入参
网页内容抓取
POST /v2/search/crawl| 参数 | 类型 | 必填 | 说明 | 默认 |
|---|---|---|---|---|
url | string | 是 | 目标网址。单页抓取,不跟随链接 | — |
format | string | 否 | markdown / text | markdown |
select_paths | array | 否 | 只抓匹配这些路径的页面(正则) | — |
select_domains | array | 否 | 只抓这些域名(正则) | — |
exclude_paths | array | 否 | 排除这些路径(正则) | — |
exclude_domains | array | 否 | 排除这些域名(正则) | — |
allow_external | bool | 否 | 允许外链 | false |
include_images | bool | 否 | 带回图片 | — |
include_favicon | bool | 否 | 带回站点图标 | — |
timeout | int | 否 | 超时秒数,10~150 | — |
返回值
| 字段 | 怎么用 |
|---|---|
results[] | 抓取结果原样(url / raw_content / favicon)。注意是 raw_content 下划线命名,v1 那里叫 rawContent |
base_url | 回显的起始网址 |
response_time | 上游耗时(秒) |
积分收费规则
6 积分/次,每个 URL 算一次。
调用失败(参数错误、数据源不可用)不扣积分。
对应的 API 端点
- POST
/v2/search/crawl