Tóm tắt nhanh:
ak-deep-swecài Pier và chấm một model code trên bộ task DeepSWE qua OpenRouter: 1 task, rồi mẫu nhỏ cố định, rồi toàn bộ khi bạn đồng ý rõ ràng. Nó không có skill tiếp theo cố định; muốn tối ưu một chỉ số trong repo của bạn thì dùngak-loop. Nó không tự nộp kết quả lên bảng xếp hạng.
Công khai: mình là maintainer của AgentKit và có quan hệ affiliate: link AgentKit trong bài là link affiliate, mua qua link này bạn được giảm 30%.
Tóm tắt
Dùng khi bạn muốn biết một model code làm được bao nhiêu việc thật, muốn một điểm sơ bộ trên mẫu nhỏ, muốn so hai model trên cùng tập task, hoặc muốn kiểm lại một lần chạy đã có. Không cần khi bạn muốn lặp để cải thiện một chỉ số trong repo của mình: việc đó là của ak-loop.
flowchart LR
A["Slug model OpenRouter"] --> B["ak-deep-swe"]
B --> C["Báo cáo: lệnh, số task, điểm, chi phí"]
B --> D["Dừng: thiếu key hoặc lỗi xác thực"]
E["Muốn tối ưu chỉ số trong repo của bạn"] --> F["ak-loop"]Nó luôn chốt 4 điều:
| Điều | Câu hỏi | Ví dụ |
|---|---|---|
| Slug model | Chính xác thì chấm model nào? | Slug đúng như trang openrouter.ai/models ghi, đưa vào Pier dạng openrouter/<hãng/model> |
| Bậc thang quy mô | Chạy bao nhiêu task, theo thứ tự nào? | 1 task để kiểm môi trường, rồi mẫu 10 task với seed 0, rồi mới tới toàn bộ |
| Cổng duyệt chạy toàn bộ | Trước khi tốn nhiều tiền và thời gian, bạn được thấy gì? | Lệnh chính xác, mức chi phí có thể tốn, điều kiện dừng. Bạn chưa nói đồng ý thì nó không chạy. |
| Báo cáo có điều kiện đo | Con số này đo trong điều kiện nào, so được với gì? | Bản Pier, slug, prompt hash, số task đã thử, hoàn thành, đạt. Pier không báo số cache thì ghi "không rõ", không ghi 0. |
Mỗi task tốn thời gian và token tính tiền qua key OpenRouter của bạn, và skill không nêu con số chi phí cụ thể: nó chỉ ghi chi phí khi Pier có số liệu. Key OPENROUTER_API_KEY phải đặt sẵn trong môi trường; skill chỉ kiểm key có hay không, không bao giờ in hay ghi giá trị.
Prompt mẫu để chấm nhanh trên mẫu nhỏ:
/ak-deep-swe <hãng/model>
Chấm model này trên một mẫu cố định 10 task, seed 0.
Không chạy toàn bộ bộ task.
Xong khi: có điểm của 10 task và chi phí nếu Pier báo.Skill này không có cờ.
Phần dưới đây là bản chi tiết: luồng chạy, 5 tình huống kèm prompt, cách truyền tuỳ chọn khi skill không có cờ, lịch sử thay đổi theo bản ak và các lỗi hay vấp. Bản chi tiết và trang trực quan dành cho subscriber. Agent của bạn cũng tìm được trong đó qua MCP của portal.
Mở khi tài khoản có quyền subscriber
Bài này dành cho subscriber
Khi tài khoản có quyền, toàn bộ bài, bản visual tương tác và lệnh gọi từ agent đều mở.
- Đăng nhập hoặc tạo tài khoản modernEngineerQuyền đọc gắn với email tài khoản.
- Chọn gói trên trang Bảng giáGói 1, 3 hoặc 12 tháng, trả bằng chuyển khoản VietQR. Quyền đọc mở khoảng một phút sau khi tiền về.
- Hoặc nhập mã Facebook subscriberNgười ủng hộ trang qua Facebook nhận mã kích hoạt qua tin nhắn mỗi tháng.
Đã là subscriber? Đăng nhập để đọc.
Dùng bài này trong agent của bạn
Lấy API keyChép đoạn dưới, dán vào Claude Code, Codex hay agent bạn đang dùng. Agent đọc bài rồi đối chiếu với repo đang mở.
Đọc bài "ak-deep-swe: chấm một model code trên DeepSWE" trên modernEngineer rồi áp dụng vào repo này.
1. Gọi tool content_get của MCP server modernengineer với locale "vi", slug "ak-deep-swe". Nếu chưa nối MCP server modernengineer, dừng lại và hướng dẫn tôi nối theo https://modernengineer.dev/vi/mcp.
2. Tóm tắt các bước chính của bài, chỉ ra bước nào áp dụng được cho repo này.
3. Đề xuất thay đổi cụ thể và hỏi tôi trước khi sửa file.Nối MCP cho Claude Code (một lần)
claude mcp add --transport http modernengineer \
https://api.modernengineer.dev/mcp \
--header "Authorization: Bearer <API key>"Đọc trọn bài qua MCP cần API key của tài khoản subscriber hoặc đã mua guide này. Không có quyền, agent sẽ chỉ đọc được phần mở đầu.
- Phiên bản
- v1.0.0
- Cập nhật
- 22/10/2026
- Giấy phép
- Bảo lưu mọi quyền
- Slug
- ak-deep-swe
