تخطَّ إلى المحتوى

حواجز تكلفة لـ آليّات الـ AI

مكتبة محاسبة صغيرة بتضبط تكلفة الـ AI. Tokens، retries، وإنذار الـ budget.

نُشر

6 دقائق قراءة

نداء النموذج يكلّف سنتات. حلقة إعادة محاولة سيّئة تكلّف مبلغاً مفاجئاً في عصر يوم واحد. أوّل فاتورة AI فاجأتنا تتبّعت إلى ميزة واحدة حيث، على مسار خطأ معيّن، أعاد الكود المحاولة حتّى ثلاثين مرّة قبل الاستسلام. الدالّة «عملت». الفاتورة لم.

هذا المقال عن مكتبة المحاسبة الصغيرة التي كتبناها استجابة، والتي دفعت ثمن نفسها أضعافاً.

ما هي المكتبة فعلاً#

غلاف حول كلّ نداء نموذج:

  1. يعدّ التوكنات قبل الإرسال.
  2. يسجّل الاستخدام الفعليّ من الردّ.
  3. يُسنِد كليهما إلى زوج (مستأجر، ميزة).
  4. يرفض إرسال النداء إن تجاوز المستأجر الميزانيّة.

حوالي ٢٠٠ سطر كود إجمالاً. الشيء كلّه طبقة رقيقة بين «كودي» و «SDK النموذج». تبدو هكذا:

type Caller = { tenantId: string; feature: string };

interface ModelCall {
  prompt: string;
  model: 'cheap' | 'medium' | 'expensive';
  maxOutputTokens: number;
}

class GuardedClient {
  async call(caller: Caller, req: ModelCall): Promise<string> {
    const inputTokens = await this.countTokens(req.prompt, req.model);
    const projectedCost = this.priceOf(req.model, inputTokens, req.maxOutputTokens);

    if (!await this.budget.canAfford(caller, projectedCost)) {
      throw new BudgetExceeded(caller, projectedCost);
    }

    const start = Date.now();
    const result = await this.upstream.complete(req);
    const elapsed = Date.now() - start;

    await this.budget.charge(caller, {
      inputTokens,
      outputTokens: result.usage.output_tokens,
      cost: this.priceOf(req.model, inputTokens, result.usage.output_tokens),
      elapsed,
      feature: caller.feature,
    });

    return result.text;
  }
}

خمسة أشياء حاملة للثقل في تلك الأسطر القليلة.

١. عدّ التوكنات قبل الإرسال#

كلفة النداء تقريباً input_tokens × input_price + output_tokens × output_price. يمكننا معرفة input_tokens بدقّة قبل الإرسال؛ علينا تخمين output_tokens، ولهذا maxOutputTokens معامل مطلوب. الإسقاط هو «الإدخال + أقصى إخراج»؛ الرسم الفعليّ هو «الإدخال + الإخراج الفعليّ».

٢. فحص الميزانيّة صلب، لا ليّن#

canAfford يعيد false إن كان إنفاق المستأجر اليوميّ مع الكلفة المُسقطة سيتجاوز السقف. نرمي، لا نُحذِّر. التحذيرات الليّنة تُتجاهل.

٣. إسناد (مستأجر، ميزة)#

كلّ رسم مُسنَد لكليهما. هذا يدعنا نُجيب عن سؤالَين مختلفَين:

  • «أيّ المستأجرين الأكثر كلفة؟» (مجموع حسب المستأجر)
  • «أيّ الميزات الأكثر كلفة؟» (مجموع عبر المستأجرين حسب الميزة)

الكلفة-لكلّ-ميزة هي الأكثر إثارة للاهتمام. من الاكتشافات المعتادة أنّ ميزة بالكاد مستخدمة تكون مسؤولة عن حصّة كبيرة من الإنفاق، لأنّها تشغّل نموذجاً مسهباً على prompt ضخم والمستخدم العاديّ ينقر عليها مرّتين في الجلسة. إعادة كتابتها بـ prompt أصغر ونموذج أرخص تخفّض الكلفة-لكلّ-نداء بشكل حادّ.

٤. زمن الجدار، لا التوكنات فقط#

نسجّل الزمن المنقضي بجانب الكلفة. النداءات البطيئة ليست دائماً باهظة، لكنّ ميزة تستغرق دائماً ٩ ثوانٍ مشكلة UX حتّى لو لم تكلّف شيئاً.

٥. لكلّ مستأجر، لا لكلّ مستخدم#

الميزانيّة على المستأجر (الشركة)، لا المستخدم الفرديّ. هذا يطابق كيف تُدفَع الكلف. يتجنّب أيضاً الـ bug حيث مستخدم admin بصلاحيّات يحرق ميزانيّة-مستخدم زميل لم يوافق.

ما الذي نضبط الميزانيّة عليه#

ثلاث فئات ميزانيّة، مُعلَنة لكلّ خطّة مستأجر:

الخطّةميزانيّة يوميّةميزانيّة شهريّةالإجراء عند التجاوز
مجّانيصغيرةصغيرةاحجب، اقترح ترقية
Proأكبرأكبراحجب، نبّه admin المستأجر
Enterpriseحسب العقدحسب العقدسقف ليّن، نبّه الدعم

اختياران غير بديهيَّين:

الفئة المجّانيّة لها ميزانيّة غير صفر#

اعتبرنا «الفئة المجّانيّة لا تحصل على شيء». معادٍ. ميزانيّة يوميّة صغيرة تغطّي بضعة نداءات نموذج رخيص، وهو كافٍ ليُقيّم المستخدم الميزة بدون أن نُموّل آلاف النداءات لكلّ مستخدم مجّانيّ.

Enterprise لها سقف ليّن#

السقف الصلب على Pro هو الافتراضيّ الصحيح؛ لـ Enterprise، حجب سير عملهم لأنّ admin لديهم نسي تحديث السقف عند تجديد العقد عمل سيّئ. سقف ليّن، تنبيه، محادثة.

ما نُقَيس#

لوحة معلومات صغيرة بخمس لوحات:

  1. الإنفاق لكلّ ساعة، آخر ٢٤ ساعة. يخبرنا متى تحدث ذروة.
  2. أعلى ١٠ ميزات حسب إنفاق اليوم. يخبرنا أين الذروة.
  3. أعلى ١٠ مستأجرين حسب إنفاق اليوم. يخبرنا من المتأثّر.
  4. متوسّط الكلفة لكلّ نداء، حسب الميزة، أسبوعيّاً. يخبرنا متى جعل تغيير عرضيّ شيئاً باهظاً.
  5. عدد فحوص الميزانيّة الفاشلة، حسب الميزة. يخبرنا متى نحن تحت الميزانيّة مقابل متى لدينا ميزة لا يجب أن تكون قد بُنيت أصلاً.

التشغيل علّمنا أنّ #٤ هي الأكثر فائدة. خطّ «زيادة كلفة لكلّ نداء» على ميزة هو مؤشّر سابق على أنّ شخصاً عدّل prompt أو رقّى نموذجاً دون قصد.

ماذا التقطت#

حوادث نموذجيّة:

  1. حلقة إعادة محاولة بدون exponential backoff كلّفت مالاً حقيقيّاً في عصر حين كان الـ upstream في فترة متدهورة. التُقطت مبكّراً بسقوف يوميّة لكلّ مستأجر.
  2. ميزة استخدم فيها مطوّر متحمّس النموذج الباهظ «من أجل الجودة» دون فحص الكلفة. التُقطت بلوحة اتّجاه لكلّ ميزة قبل أن تتسع لكلّ المستأجرين.
  3. prompt نما على مدى ستّة أشهر مع إضافة الفريق سياقاً إليه. كلّ إضافة كانت صغيرة؛ المجموع كان أضعاف عدد التوكنات الأصليّ. التُقط باتّجاه الكلفة-لكلّ-نداء.
  4. bug حيث كان مدخل مستخدم سلسلة فارغة يُرسَل إلى النموذج والنموذج استجاب مطيعاً بعدّة فقرات من اللاشيء. أضفنا حارس مدخل فارغ.

الـ ROI#

استغرقت المكتبة وقتاً هندسيّاً متواضعاً. هي تمنع حوادث كانت ستكلّف أكثر من ذلك الوقت الهندسيّ. سمحت لنا أيضاً بالبناء بثقة مع نداءات نموذج بطرق ما كنّا لنفعل بدونها. التأثير النفسيّ «نعرف ماذا يكلّف هذا» قيّم على الأقلّ بقدر التوفير.

الجزء التالي من هذه السلسلة يلفّ مسار الـ AI. أو اقفز إلى مسار الأداء إن أردت شكلاً مختلفاً من المقال.

اقرأ المقال بالإنجليزية · English

شارك المقال

WhatsAppLinkedInXFacebook

علي هيثم يوسف

علي هيثم يوسف، مبرمج وصاحب شركة برمجيات في دمشق. يعمل منذ 2015 وسلّم أكثر من 600 مشروع.

تعرّف على علي

هل يشبه مشروعك ما قرأت؟

اكتب لي ما تحتاجه بكلماتك، ونحدّد معاً إن كان ما أقدّمه يناسب شركتك.

ابدأ بمحادثة