WildLens
Aussie EcoLens 多云野生动物平台
从一张野外影像,
到可以检索的物种记录。
基于 AWS 与 GCP 的野生动物图像和视频管理平台,接入课程提供的识别模型。我负责 Go 查询 API 与数据管理,支持物种检索、标签数量组合查询、缩略图反查和批量管理。
为什么做这个项目
WildLens / Aussie EcoLens 是 FIT5225 的小组课程项目。团队将 AWS 的身份认证、对象存储、事件处理和元数据服务,与 GCP Cloud Run 的媒体推理和 Go 查询服务连接起来,形成从图像 / 视频上传到标签检索的多云链路。模型使用课程提供的预训练资源。
我负责 Go Query API 与数据管理:观察列表、物种检索、标签数量 AND 查询、缩略图反查、临时图片搜索、批量标签修改、文件删除及视频下载支持。AWS 基础设施与安全、媒体推理、前端由其他组员负责;识别模型并非我独立训练。
影像采集
通过团队 Vue 前端与 S3 预签名 URL 上传图片或视频。
媒体处理
由团队媒体服务加载课程模型、处理缩略图与视频帧,产生标签元数据。
查询与管理
由我负责的 Go 服务搜索记录、更新标签、查找和管理媒体文件。
从输入,到可检查的结果
- 01
上传到对象存储
认证后申请 S3 预签名 URL,媒体文件进入 S3;上传链路由团队其他成员实现。
- 02
事件驱动推理
S3 事件经 Lambda 协调,调用 GCP Cloud Run 媒体服务,对图片或抽取的视频帧进行识别。
- 03
保存识别元数据
标签、数量、文件对象与缩略图信息进入 DynamoDB,文件本体留在对象存储。
- 04
Go 查询与管理
通过 API Gateway 调用 Cloud Run Go Query API,按物种及标签数量查询,并提供更新、删除和下载能力。
架构与职责划分
把不同的职责放在明确的边界内,让每一步的输入、输出和失败方式都可以单独理解。
课程模型由团队媒体服务加载;蓝色框突出个人 Go 查询模块,不表示全部模块由个人完成。
分层职责速览
核心工程实现
Go Query API 的路由、服务与仓储边界
个人负责 Go / Gin 查询与媒体管理服务,以路由处理请求、Service 组织查询逻辑、Repository 访问数据。生产链路由 AWS API Gateway 进入 GCP Cloud Run,DynamoDB 保存标签及媒体元数据,S3 保存原文件和缩略图。
APP_REPOSITORY=memory 可切换仓库自带样例,在无需 AWS 凭证时复现接口契约;DynamoDB 模式再接入实际元数据。列表与标签查询测试检查服务行为,内存样例不冒充真实云端识别结果。
稳定媒体字段与标签数量 AND 查询
GET /api/v1/observations 返回前端需要的稳定字段:file_url 用于后续标签更新和删除,thumbnail_display_url 用于展示,file_download_url 用于下载原始图片或视频。将展示地址、操作标识和下载入口区分,减少前后端对 URL 用途的误解。
POST /api/v1/query/tags 接收标签数量 JSON map,例如 {"koala":3,"wombat":2},各标签数量条件以 AND 组合;同时保留 tag_counts 包装格式以兼容既有调用。字段和逻辑由 API 契约约定,而非前端各自推测。
缩略图反查与媒体批量管理
POST /api/v1/query/thumbnail 根据 thumbnail_url 返回原媒体 file_url,并保留 observations/lookup 查询别名。该接口让只持有缩略图的界面可以回到同一媒体标识,再接续标签修改、文件删除或原文件下载。
标签更新、删除和下载围绕统一媒体字段对接 S3 / DynamoDB。团队的媒体处理服务负责生成标签与缩略图,个人 Go 服务负责这些结果的检索和管理,两部分通过 API 与元数据契约协作。
临时图片搜索与无状态推理契约
POST /api/v1/query/file 接收 multipart 的 file 字段,支持 JPEG / PNG,最大 10 MiB。查询图片发送到 TEMP_QUERY_INFER_URL 指定的无状态服务,读取 tags、tag_counts、primary_species 与 model_version,再返回 detected_tags 和匹配记录。
该请求不把查询文件上传 S3、不写入 DynamoDB,也不在请求结束后保留文件;推理服务未配置或失败时返回明确错误。正式媒体上传与临时以图查询使用不同生命周期,避免一次搜索意外变成新增媒体记录。
多云事件处理与模型责任边界
团队上传链路通过 Cognito 认证和 S3 预签名 URL 接收图片或视频;S3 事件经 Lambda 协调 Cloud Run 媒体推理,处理图片或视频抽帧后,将标签、数量及对象信息写入 DynamoDB。Go Query API 在另一条请求链路读取并管理这些结果。
模型使用课程提供的预训练资源,媒体服务还支持 fake detector 开发回退。真实识别需要有效模型资源与云端配置;个人贡献为 Go 查询及数据管理,不包含独立训练模型。本地样例用于检验查询契约,模型推理效果需通过真实资源另行验证。
技术难点与设计取舍
为什么把文件和元数据分开?
图片和视频适合放在对象存储,物种标签与数量需要结构化查询。Go 服务围绕稳定的文件标识和媒体字段处理请求,按职责访问 DynamoDB 与 S3。
多个标签怎样组合?
标签数量查询使用逻辑 AND:一条记录需要同时满足传入的各标签数量条件。接口保留标准 JSON map 与兼容包装格式,便于前端集成。
为什么提供 Memory Repository?
本地 memory 模式能在不配置云账号的情况下启动 Go 查询 API,复现查询和服务契约;DynamoDB 模式再接入真实元数据。内存样例不能作为真实模型推理结果。
临时图片查询如何避免长期留存?
查询文件只发送到配置的无状态推理服务,不作为正式上传写入 S3 或 DynamoDB;推理 URL 未配置或调用失败时返回明确错误。
如何验证,以及做到哪里
可复现的本地模式
使用仓库自带 memory 模式启动 Go API,以内置样例核对观察记录与标签查询契约。
查询契约与测试
仓库包含路由、服务、仓储和临时图片查询测试,API 文档说明列表、查询、标签更新与文件管理字段。
服务边界
本地 memory 样例验证查询契约,真实模型推理与云端上传需要独立的配置及端到端验证。
当前实现边界
模型由课程提供,团队媒体服务默认支持 fake detector 回退;仅加载有效模型资源的配置才能代表真实物种推理。本轮使用本地 memory 查询样例,不声称重新完成云端上传、推理或模型训练,也未绕过身份认证。
继续阅读
GitHub / 团队与架构说明 ↗个人 Go Query API ↗API 契约 ↗内容依据当前项目 README 与架构文档整理;展示工程设计和验证方式,不将示意图或流程描述作为实时运行数据。MonashMate
校园行政助手 Agent