Self-audit по Zapier AI Fluency Rubric: что я увидел в собственной работе с AI

Большинство людей не знает, насколько хорошо они работают с AI. “Я часто использую ChatGPT” — это не оценка, это факт. Между “часто использую” и “оркеструю AI и строю системы” — четыре уровня разницы и три года работы.

Я провёл структурный self-audit по AI Fluency Rubric от Zapier, адаптированной под собственную роль “AI-native solo builder / agent designer”. Результат: уровень Adoptive, на границе Transformative по компонентам Mindset и Building.

Этот пост — не про результат. Результат конкретный, привязан ко мне. Это про методологию: как я проводил self-audit, что заметил в процессе, и почему сам процесс оказался полезнее цифры на выходе.

Table of contents

Зачем self-audit вообще

Четыре причины:

1. Калибровка самооценки. Большая часть людей либо переоценивает (думают “Transformative”, а на деле Capable), либо недооценивает (на деле уже Adoptive, а думают что только начинают). Без структурной оценки эти иллюзии не лечатся
2. Понять зону роста. Если знаешь по каким компонентам ты “проседаешь” — есть на что направить усилия следующие 3-6 месяцев
3. Маркер для рынка. Если ты ищешь работу или клиентов, “Adoptive level по такой-то методологии” — это понятный якорь. “Я хорошо знаю AI” — не якорь
4. Аргумент для команды. Если ты ведёшь AI-внедрение в компании — self-audit команды показывает реальную точку старта, а не “мы вроде используем AI”

Методология: AI Fluency Rubric от Zapier

Zapier выложил публичную rubric для оценки AI-fluency среди своих сотрудников. Четыре уровня — Unacceptable, Capable, Adoptive, Transformative — и четыре компонента, по которым оценивается каждый сотрудник:

• Mindset — установка к AI: воспринимаешь как инструмент / партнёра / новую среду?
• Strategy — стратегия: когда использовать AI, какую модель, как декомпозировать задачу
• Building — создание: что строишь поверх AI, репродуцируемые системы или одноразовые промпты
• Accountability — ответственность: как валидируешь output, как разделяешь зону “AI решает” и “ты решаешь”

Rubric Zapier рассчитан на сотрудников компании. Чтобы применить его к своей роли, я сделал адаптацию.

Адаптация rubric под кастомную роль

Ни одна из ролей в Zapier (Engineering, Product, Marketing, Support и т.д.) не описывает мою роль чисто. Я работаю как solo builder / agent designer — гибрид Engineering + Бизнес-операции + Данные.

Адаптация — это не упрощение, а уточнение критериев. Например:

Building, Adoptive в Zapier (для Engineering):

“AI fundamentally changes how they engineer: they default to AI-first approaches where appropriate and have built workflows, tooling, or practices that improve output beyond just themselves.”

Building, Adoptive в моей адаптации:

Построены reproducible AI-системы и инфраструктура (skills с trigger frontmatter, JSONL data layers, multi-level config), которые работают каждый день — не “разовые промпты”. Артефакты доступны для проверки.

Это та же мысль, переведённая на язык моих артефактов. Адаптация — это billable час в Tier 2 self-audit для клиента (об этом — в конце).

Четыре компонента: что я искал по каждому

Mindset

Что искал в собственной работе:

• AI — это “инструмент”, который я использую время от времени, или default режим работы?
• Когда сталкиваюсь с новой задачей — первый вопрос “как это сделать руками?” или “как это сделать через AI / какой агент собрать?”
• Воспринимаю AI как партнёра (с которым иду в диалог) или как исполнителя (которому даю команды)?

Что нашёл:

• AI встроен как default — вся работа через Claude Code, не “инструмент сбоку”
• Voice “у меня партнёрский режим”: в SOUL.md явно прописано “не yes-man, противоречь если плохая идея”
• Влияние measurable: 94% cache hit, 85% cost saved — это измеренные данные, не “ощущения”

Уровень: Adoptive на границе Transformative. Не Transformative — потому что нет распространения паттернов на других людей / команду (только одна голова — моя).

Strategy

Что искал:

• Когда я выбираю модель — есть ли явный критерий, или “что попало под руку”?
• Декомпозирую ли я сложные задачи на под-задачи для агентов?
• Есть ли стратегия cost-awareness (cache, model selection)?
• Есть ли стратегия error handling (что делать если AI ошибся)?

Что нашёл:

• Decision matrix Opus/Sonnet/Haiku по downstream impact — явный критерий
• Cache-aware policy: 5-min TTL понятен, ping-pong как anti-pattern зафиксирован
• “Script > Model” принцип — стратегия когда AI избыточен
• Yellow/Green/Red/Grey classification под решения

Уровень: Adoptive. До Transformative не хватает стратегии scaling — как другие будут использовать эту стратегию. Пока — стратегия для одного оператора.

Building

Что искал:

• Что я построил поверх AI — артефакты, которые работают вне отдельных промптов?
• Воспроизводимые ли мои системы — могут ли их использовать другие?
• Есть ли инфраструктурный слой (skills, journals, configs) — или каждая задача с нуля?

Что нашёл:

• Skills с trigger frontmatter — voice loading по триггеру
• JSONL data layers — append-only память
• Multi-level config (CLAUDE.md → SOUL.md / PRINCIPLES.md / AGENTS.md)
• Blueprint AI-агентов (~120 секций накопленной аналитики)
• 5 продуктов в проде

Уровень: Adoptive близко к Transformative. Не Transformative — потому что построенное используется только мной. Чтобы дойти до Transformative, нужны системы, на которые полагаются другие: open-source CLI, shared skill pack, packaged playbook для команды.

Accountability

Что искал:

• Как валидирую outputs AI — формально или “на глаз”?
• Есть ли разделение задач — где “AI решает”, где “я решаю”?
• Есть ли eval-loops с числовым порогом до начала работы?
• Признаю ли ошибки AI публично, или скрываю?

Что нашёл:

• failures.jsonl для regression prevention — формальная фиксация ошибок
• Mandatory pre-step skills (blueprint-grep-before-append, idea-applicability-check) — ошибки катализированы в правила
• “Errors are data” в PRINCIPLES.md — explicit
• Confirm-first / autonomous разделение прописано в AGENTS.md

Что слабее:

• Меньше eval-loops с numerical threshold до начала работы. Scoring rubric для новых идей есть. Eval threshold для качества скомпилированного blueprint / skill / synthesis — нет видимого
• Определено “что значит хорошо” для одного класса output (идея), не для других

Уровень: Adoptive (нижняя граница). До полного Adoptive нужно: явные eval-критерии для большего числа классов output.

Сводный verdict

Ниже Capable нет ни по одному компоненту. Adoptive в среднем по 4 компонентам.

Что определило границу с Transformative

Главное наблюдение — граница между Adoptive и Transformative проходит по scaling.

Adoptive — это “я построил систему для себя, она работает, я в ней живу”. Transformative — это “я построил систему, которой пользуются другие, она меняет как работает команда / индустрия”.

Чтобы перейти в Transformative по Mindset и Building, мне нужно:

• Packaged playbook / open-source CLI / shared skill pack — что-то, что другие люди реально берут и применяют
• Documented case study с командой — где я внедрил подход не только себе
• Внешние пользователи моей инфраструктуры (хотя бы 5-10)

Это в моём idea-портфеле как idea-009 (packaged playbook для AI agents) и idea-003 (open-source skill pack). Пока — на бумаге.

Что нашёл в процессе помимо результата

Self-audit оказался полезнее самого результата. Что я заметил:

1. Сама необходимость “найти доказательство” заставляет смотреть на артефакты. Я не мог написать “Adoptive по Strategy” без указания где именно это видно. Это привело к ревизии: какие у меня вообще артефакты Strategy?
2. Видны зоны, которые я не замечал. Я знал что у меня хорошие skills и data layers. Я не замечал, что у меня слабые eval-loops для не-идей. Self-audit это вытащил
3. План роста становится конкретным. Не “хочу быть лучше в AI”. А — “хочу построить shared skill pack чтобы перейти из Adoptive Building в Transformative”. Это уже actionable
4. Слабые места не лечатся самостоятельно. Я знал про свою недотягивающую Accountability полгода. Без структурного self-audit я бы продолжал её “знать” и ничего не делать

Limitations: что self-audit не даёт

Честная оценка требует понимать ограничения метода:

• Self-assessment покрывает 60-70% сигнала. 30-40% требует real-time observation — наблюдения за тем, как кандидат работает с AI в моменте, на незнакомой задаче
• Артефакты показывают “куда пришёл”, не “как пришёл”. Self-audit может пропустить важные tradeoffs и неуспешные попытки
• Bias подтверждения. Я ищу доказательства того, что у меня всё хорошо. Внешний ассессор ищет дыры в моих доказательствах. Это разные позиции

Поэтому полная картина — это self-audit + внешний review + observation на новой задаче. Self-audit — это первый шаг, не финал.

Когда self-audit стоит делать для команды / клиента

Адаптация Zapier rubric под кастомные роли — это billable работа в формате Tier 1 / Tier 2:

• Tier 1 (для одного человека): ~6-10 часов работы — фиксация роли, артефакты, trajectory interview, observation, scoring, roadmap
• Tier 2 (для команды): 4-8 часов на адаптацию rubric + Tier 1 для каждого члена команды

Если вы Head или фаундер, и хотите понять реальный уровень AI-fluency своей команды до того как запускать AI Transformation — это правильный первый шаг. Без baseline вы не сможете показать прогресс через полгода.

Чек-лист: запустить self-audit у себя

• Прочитать оригинальную rubric Zapier
• Определить свою роль (если она не из списка Zapier — выписать что у вас гибридное)
• Адаптировать критерии каждого уровня (Unacceptable / Capable / Adoptive / Transformative) под свою роль
• По каждому из 4 компонентов (Mindset / Strategy / Building / Accountability) выписать конкретные артефакты в работе
• Соотнести артефакты с уровнями rubric
• Зафиксировать итоговую оценку с доказательствами
• Сформулировать план перехода на следующий уровень (что конкретно нужно построить / изменить)

Время: 4-6 часов вдумчивой работы. Окупается надолго.

Заключение

Self-audit по структурной rubric — это инструмент честности с собой. Без него вы либо переоцениваете, либо недооцениваете свой уровень — и в обоих случаях принимаете неоптимальные решения о развитии.

Главное, что даёт self-audit — это план. Не “хочу быть лучше”, а — “построю X, чтобы перейти из Adoptive Building в Transformative”. Это конвертируется в действия.

И отдельно: проведённый self-audit становится артефактом для внешнего рынка. Когда вы говорите “Adoptive level по такой-то rubric” с конкретными доказательствами — это сильнее, чем “хорошо разбираюсь в AI”.

Если ваша команда внедряет AI и нет baseline-оценки уровня — это первое, что стоит сделать. Через 6 месяцев вы должны видеть прогресс. Без baseline — нечего сравнивать.