Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Автор ИИ-рации слепил корпус из пластилина, потому что агент не чувствует руку

Автор собирает карманную рацию для голосового ввода в свою систему агентов: зажал курок, сказал мысль, отпустил — запись уходит по блютузу через телефон. Корпус, который он с агентом спроектировал кодом (SDF и булевы операции), по механике получился хорошо, но в руке сидел неуклюже. Тогда форму отдали рукам: облепили болван пластилином, а затем отсканировали фотограмметрией.

AI-обработка оригинала Habr AI; редакция Hamidun News
Автор ИИ-рации слепил корпус из пластилина, потому что агент не чувствует руку
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Агент отлично считает механику, но анатомию руки не чувствует
Ключевой факт #2Болван с метками кнопок + пластилин + скан в RealityScan
Комплект для лепки3,1 часа печати и 98 г PLA

Есть класс задач, где агент с кодом уверенно считает всё, что поддаётся расчёту, и всё равно проигрывает куску пластилина. Эргономика как раз такая. Автор карманной рации для личной системы агентов прошёл этот путь на практике и описал его на Habr.

Зачем вообще рация

Идея простая: взял устройство в руку, зажал курок, сказал мысль, отпустил. Запись по блютузу уходит на телефон (доставать его из кармана не нужно), а дальше её разбирают агенты в системе, которую автор называет «Бюро», своим вторым мозгом. Никаких кнопок в мессенджере и открытых приложений.

Интерфейс сведён к минимуму. С экрана убраны все тексты, остаётся только анимация: пока держишь курок, идёт запись, после отпускания она улетает, а когда система приняла запись, появляются вспышка и галочка. На каждое событие свой звук.

Устройств два. Первая версия собрана на M5Stack Cardputer-Adv: ESP32-S3, экран 1,14 дюйма, микрофон, батарея на 1500 мА·ч. Корпус надевается сверху, а большой боковой курок давит на штатную кнопку. Вторая версия сделана на M5StickS3: начинка та же, но без клавиатуры и с батареей на 250 мА·ч. По прикидкам автора, такого устройства хватит примерно на неделю на одном заряде.

Где агент упирается в потолок

Корпус первой версии автор проектировал вместе с агентом прямо кодом: формы через SDF и булевы операции, печатная пружина курка, рендеры. С механикой всё получилось, нейросеть считает её отлично. Но в руке корпус был неуклюжим.

По словам автора, модель плохо понимает анатомию, и тут расчёт не помогает. От себя добавлю: у «удобно» нет формулы, которую можно загнать в код. Ощущение ладони проверяется только самой ладонью. Поэтому автор разделил обязанности: форму задаёт рука, всё остальное вокруг неё делает агент.

Как устроен пластилиновый пайплайн

Всё нужное для лепки напечатали на 3D-принтере. Весь комплект печатался 3,1 часа и потратил 98 г PLA, а болван под StickS3 добавил ещё 28 минут.

  • Болван — копия устройства, увеличенная на 2 мм по бокам и сзади. На поверхности ямки по 0,8 мм, чтобы пластилин лучше держался. На месте каждой кнопки и разъёма сделано отверстие под метку из чёрного штифта: после лепки видно, где под пластилином кнопка.
  • Стенд для съёмки — колонна со штырём на ключе, чтобы болван каждый раз вставал одинаково, и три полусферы по углам. По ним скан встаёт в координаты и масштаб устройства.
  • Стеки — двое двусторонних грабель, два гладких скребка и два лекала-«почки». Подходящих готовых не нашлось, так что напечатали свои.

Дальше работа руками: архитектурный пластилин облепляет болван так, чтобы метки торчали наружу, лишнее срезается лекалом, форма постоянно примеряется в кулаке. Готовую форму сажают на стенд и сканируют фотограмметрией в RealityScan. Потом нейросеть по скану строит сглаженную модель, а агент по меткам помещает в неё механику. Её и напечатают.

Что из этого вынести

Главная мысль шире рации: если у задачи есть измеряемая часть и есть «ощущаемая», их стоит разделять. Модели отдавай ограничения, допуски и посадку компонентов, человеку — то, что проверяется телом. Связывают их реперные метки и стенд: человеческий результат превращается в артефакт, который агент может читать.

Ограничения тоже есть. Форма пока слеплена под руку одного человека, автор сам говорит, что будет доводить её до более универсальной. Итоговая напечатанная модель в тексте ещё не показана. Значит, работает ли этап «скан → сглаженная модель → механика по меткам» так гладко, как задумано, пока неизвестно.

Для тех, кто делает железо с помощью агентов, вывод практичный: не пытайтесь выжать эргономику из промпта. Напечатайте болван, слепите форму, отсканируйте и отдайте агенту уже как входные данные.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем вообще рация?

Идея простая: взял устройство в руку, зажал курок, сказал мысль, отпустил. Запись по блютузу уходит на телефон (доставать его из кармана не нужно), а дальше её разбирают агенты в системе, которую автор называет «Бюро», своим вторым мозгом. Никаких кнопок в мессенджере и открытых приложений. Интерфейс сведён к минимуму. С экрана убраны все тексты, остаётся только анимация: пока держишь курок, идёт запись, после отпускания она улетает, а когда система приняла запись, появляются вспышка и галочка.

Что известно по теме: где агент упирается в потолок?

Корпус первой версии автор проектировал вместе с агентом прямо кодом: формы через SDF и булевы операции, печатная пружина курка, рендеры. С механикой всё получилось, нейросеть считает её отлично. Но в руке корпус был неуклюжим. По словам автора, модель плохо понимает анатомию, и тут расчёт не помогает. От себя добавлю: у «удобно» нет формулы, которую можно загнать в код. Ощущение ладони проверяется только самой ладонью. Поэтому автор разделил обязанности: форму задаёт рука, всё остальное вокруг неё делает агент.

Что известно по теме: как устроен пластилиновый пайплайн?

Всё нужное для лепки напечатали на 3D-принтере. Весь комплект печатался 3,1 часа и потратил 98 г PLA, а болван под StickS3 добавил ещё 28 минут. Болван — копия устройства, увеличенная на 2 мм по бокам и сзади. На поверхности ямки по 0,8 мм, чтобы пластилин лучше держался. На месте каждой кнопки и разъёма сделано отверстие под метку из чёрного штифта: после лепки видно, где под пластилином кнопка. Стенд для съёмки — колонна со штырём на ключе, чтобы болван каждый раз вставал одинаково, и три полусферы по углам.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…