قراءة معمقة في L1

طائر يحاول بناء عشه

في بعض الأحيان تبدو البدايات قوية، تجذب الانتباه، تجعلك تتساءل وتبحث عن الإجابة طوال القصة، وفي أحيان أخرى تكون عادية لا تنبئ بأي شيء مما سيأتي والذي سيظل أثره معك دوما. وفي حالتنا الآن ربما تستغرب المقدمة أو تبحث عن علاقتها بالرمز أو الأسطورة، لكن المجاز يجعل الأمور سلسة للشرح.

لذا تخيل معي طائرا يحاول أن يبني عشه؛ لا يستطيع حمل كل غصن يجده، وعليه أن يختار ما يكفي للبناء. سنعود إليه عندما تصبح الأرقام اختيارات، لكن لنبق الآن مع ثلاثة أرقام بسيطة.

ما هو $L_{1}$؟

لنفترض أن لدينا ثلاثة أرقام: 3، −4، 2، ولنضعها في متجه ونسميه w. يمكن لهذا المتجه أن يشير هندسيا إلى اتجاه أو إزاحة، وقد تكون أرقامه أوزانا يتعلم منها نموذج، لكن السؤال الآن أبسط: ما حجم هذه الأرقام مجتمعة؟

نحتاج إلى معيار يعبر عن مقدار المتجه، ومعيار $L_{1}$ يفعل ذلك بجمع القيمة المطلقة لكل رقم؛ أي نجرده من إشارته ثم نجمع المقادير. الرمز j يحدد موضع الرقم، وd هو عدد الأرقام، ولذلك يكون حجم متجهنا بهذا المعيار 9.

يمكنك تشغيل الأكواد بالترتيب؛ أولها يستورد NumPy، وسنعرّف بقية الأدوات عند الحاجة إليها.

1import numpy as np2w = np.array([3., -4., 2.])3print(np.abs(w).sum())  # 9.0

نادي المعايير

السبب وراء استخدام القيمة المطلقة يظهر إذا أخذنا المتجه $(100, -100)$: الجمع العادي يعطي صفرا، مع أن الرقمين كبيران، بينما $L_{1}$ يعطي 200. ودوما يحتاج الرياضيون إلى شروط ليقبلوا أحدا في نادي المعايير: ألا يكون القياس سالبا، وألا يساوي صفرا إلا للمتجه الصفري، وأن يتغير بمقدار |c| عند ضرب المتجه في c، وأن يحقق متباينة المثلث.

هذه الأخيرة تقول إن جمع متجهين لا يجعل المقدار أكبر من مجموع مقداريهما، كما أن الطريق المباشر لا يكون أطول من طريق يمر بنقطة وسيطة إذا قسنا الطريقين بالمعيار نفسه. ولنصحح مثال الضرب: إذا كان w=$(3, -2)$، فإن 2w=$(6, -4)$ ومعياره 10، وهو ضعف 5.

1w = np.array([3., -2.])2u, v = np.array([2., -1.]), np.array([-1., 3.])3print(2*w, np.abs(2*w).sum(), 2*np.abs(w).sum())4print(np.abs(u+v).sum() <= np.abs(u).sum()+np.abs(v).sum())

من الشوارع إلى الأشكال

هندسيا، يقيس $L_{1}$ مسافة مانهاتن؛ لكي ننتقل من $(0, 0)$ إلى $(3, 2)$ عبر شوارع أفقية ورأسية نقطع 5 وحدات، بينما الخط المستقيم طوله $\sqrt{13}$. وإذا جمعنا كل النقاط التي لا يتجاوز معيارها الواحد، ظهر شكل معين في $L_{1}$، ودائرة في $L_{2}$، ومربع في $L_{\infty}$.

هذه الأشكال ليست زخرفة، لأن حدودها ستحدد لاحقا أين يمكن أن يستقر الحل. ومع ذلك، مجرد حساب المعيار لا يغير أي نموذج؛ التنظيم يبدأ حين نجعل لهذا المقدار تكلفة داخل مسألة التحسين.

1point = np.array([3., 2.])2print("Manhattan:", np.abs(point).sum())3print("Euclidean:", np.linalg.norm(point))

العائلة وابن عمها البعيد

بطل القصة ينتمي إلى عائلة أوسع؛ عندما $p\ge 1$ نجمع القوى p للمقادير ثم نأخذ الجذر من الرتبة نفسها. عند $p=1$ نحصل على $L_{1}$، وعند $p=2$ على الطول الإقليدي، وعندما تكبر p بلا حد نحصل على أكبر مقدار منفرد.

أما ابن عمه البعيد $L_{0}$ فيعد الأرقام غير الصفرية، ولذلك لا يحقق التجانس المطلوب من معيار حقيقي: مضاعفة الأرقام لا تضاعف عددها. للمتجه $(3, 4, 0)$ تكون القيم بالترتيب $L_{0}=2$ و$L_{1}=7$ و$L_{2}=5$ و$L_{\infty}=4$.

كل واحد يجيب عن سؤال مختلف؛ ولهذا يمكن أن يكون لمتجهين معيار $L_{1}$ نفسه مع اختلاف عدد العناصر المستخدمة تماما.

1w = np.array([3., 4., 0.])2print(np.count_nonzero(w), np.abs(w).sum(),3      np.linalg.norm(w), np.max(np.abs(w)))4a, b = np.array([1., 0., 0., 0.]), np.full(4, .25)5print(np.abs(a).sum(), np.abs(b).sum(),6      np.count_nonzero(a), np.count_nonzero(b))

من أين بدأت القصة؟

ومن هنا قد نسأل: من صنع $L_{1}$؟ ليست للقيمة المطلقة بداية واحدة يمكن إسنادها إلى مخترع، فتاريخ تقدير الانحرافات المطلقة أقدم من تعلم الآلة، وتطور فضاءات $L_{p}$ قصة رياضية أخرى.

ما نستطيع نسبته بوضوح هو الطرق المحددة: قدم Hoerl وKennard انحدار Ridge سنة 1970 لمعالجة عدم استقرار المعاملات، ودرس Williams سنة 1995 التنظيم والتقليم بافتراض Laplace في الشبكات العصبية، ثم قدم Tibshirani سنة 1996 Lasso الذي جمع تقليص معاملات الانحدار واختيار المتغيرات. وفي 1998 ظهرت صياغة Basis Pursuit لدى Chen وDonoho وSaunders، ثم Elastic Net سنة 2005 والنتائج الأساسية للاستشعار المضغوط سنة 2006.

كل محطة أضافت سؤالا، ولم تلغ ما قبلها.

كم غصنا نحتاج؟

لنعُد إلى الطائر: الاختيار يتعلق بعدد الأغصان، لا بمجموع أطوالها وحده. نسمي المتجه متناثرا إذا كانت أغلب عناصره صفرا، ونسمي مواضع العناصر الباقية دعمه S(w).

المتجه $(0, 4, 0, -2, 0, 0)$ دعمه {2، 4} وعدده $L_{0}$ يساوي 2. لو أردنا أن ندفع تكلفة ثابتة لكل عنصر نحتفظ به، أمكننا إضافة $\lambda L_{0}$ إلى خطأ الملاءمة F، لكن البحث بين مجموعات المتغيرات قد يكون صعبا لأن d مواضع تسمح بـ$2^{d}$ مجموعات.

وفي المثال العددي ذي العنصر الواحد نقارن تكلفة الصفر $a^{2}/2$ بتكلفة إبقاء a وهي $\lambda$؛ نختار الصفر إذا كانت الأولى أصغر، ونبقي a كما هو إذا كانت الثانية أصغر، وعند التساوي يصلح الاثنان. أما وجود عناصر كثيرة صغيرة فلا يعني أن المتجه متناثر فعليا، وإن كان قابلا لتقريب متناثر جيد.

1w = np.array([0., 4., 0., -2., 0., 0.])2print("Support, counted from 1:", np.flatnonzero(w)+1)3a, lam = .6, .34hard_solution = 0. if a*a/2 <= lam else a5print("Hard threshold:", hard_solution)

ما معنى محدب؟

نحتاج الآن إلى فهم كلمة محدب، لأن سهولة البحث ليست وصفا عابرا. إذا وصلنا نقطتين على منحنى دالة محدبة بخط مستقيم، بقي المنحنى تحت هذا الخط أو عليه؛ والمتباينة التالية تكتب ذلك عندما نمزج a وb بنسبة t.

كل حد أدنى محلي لدالة محدبة على مجال محدب يكون عالميا، لكن هذا لا يعني أن الحل وحيد أو أنه موجود بلا شروط. القيمة المطلقة محدبة رغم الزاوية عند الصفر، والخطأ التربيعي في معاملات الانحدار محدب أيضا، فيكون جمعهما في Lasso محدبا.

أما $L_{0}$ فيقفز عند الصفر؛ فمزج 0 و1 بالتساوي يعطي تكلفة 1 عند الوسط، أكبر من متوسط التكلفتين 1/2. وإضافة عقوبة محدبة إلى خسارة شبكة عصبية غير محدبة لا تجعل المسألة كلها محدبة؛ عدم النعومة وعدم التحدب أمران مختلفان.

1a, b, t = -2., 3., .42print("Absolute value:", abs(t*a+(1-t)*b), t*abs(a)+(1-t)*abs(b))3count = lambda x: float(x != 0)4print("L0 counterexample:", count(.5), .5*count(0)+.5*count(1))

بديل يسهل البحث

لهذا نستبدل أحيانا العد الصعب بقياس محدب، ويسمى ذلك إرخاء محدبا؛ لكنه يصنع مسألة جديدة ولا يثبت أن حلها هو الحل القديم. على المجال المحدود [−M، M] تكون |w|/M أكبر دالة محدبة لا تتجاوز مؤشر عدم الصفر، ويسمى هذا الغلاف المحدب.

لنر السبب: بين الصفر وM لا تستطيع أي دالة محدبة تحت المؤشر أن تعلو الخط الذي يصل $(0, 0)$ و(M، 1)، والقيمة المطلقة المقسومة على M تحقق هذا الخط، وبالمثل في الجهة السالبة. في صندوق يحد جميع العناصر نحصل على $L_{1}$/M، أما على الفضاء غير المحدود فالغلاف هو الصفر، لا $L_{1}$.

ويمكن أن تختلف الحلول حتى في مثال صغير: عند a=0.6 و$\lambda=0.3$ يختار $L_{0}$ الصفر، بينما يختار $L_{1}$ القيمة 0.3؛ فالعلاقة بينهما ليست مساواة.

1M = 2.2grid = np.linspace(-M, M, 501)3indicator = (grid != 0).astype(float)4envelope = np.abs(grid)/M5print("Lower bound:", np.all(envelope <= indicator+1e-12))6print("L0 / L1 solutions:", hard_solution, max(.6-.3, 0))

حين يلامس الحل رأسا

ويمكن رؤية أثر البديل قبل حساب مشتقاته. لنضع ميزانية t على $L_{1}$ لمعاملين؛ المنطقة المسموح بها معين رؤوسه على المحورين، والمنحنيات التي لها خطأ ملاءمة واحد تكون أهليجات إذا كانت الخسارة تربيعية موجبة التحديد.

نبحث عن أصغر منحنى خطأ يلامس المنطقة، وقد يلمس رأسا فيجعل أحد المعاملين صفرا. في المثال التالي، الحل غير المقيد $(2, 0.3)$، ومع الميزانية 1.2 يعطي قيد $L_{1}$ الحل (1.2، 0)، بينما يعطي $L_{2}$ تقريبا (1.1792، 0.2225).

لكن للمعين أضلاع أيضا وقد يقع الحل عليها بمعاملين غير صفريين. ويمكن ربط الميزانية بصيغة عقوبة $\lambda$ تحت شروط لاغرانج المناسبة، دون تحويل عام ثابت بين t وλ.

1from scipy.optimize import brentq2t = 1.23lagrange_l1 = brentq(lambda z: max(2-z, 0)+max(.3-z/2, 0)-t, 0, 3)4l1_point = np.array([max(2-lagrange_l1, 0), max(.3-lagrange_l1/2, 0)])5lagrange_l2 = brentq(lambda z: np.hypot(2/(1+z), .6/(2+z))-t, 0, 10)6l2_point = np.array([2/(1+lagrange_l2), .6/(2+lagrange_l2)])7print(l1_point, l2_point)

لماذا يحتاج النموذج إلى التنظيم؟

لكن لماذا نضع ميزانية أو عقوبة أصلا؟ يتعلم النموذج من أمثلة شاهدها، بينما نريده أن ينجح في أمثلة لم يشاهدها؛ وقد يحفظ تفاصيل التدريب وضجيجه فيقع في فرط الملاءمة.

نسمي متوسط الخسارة على الأمثلة المتاحة المخاطرة التجريبية، أما المخاطرة السكانية فهي توقع الخسارة على التوزيع الذي ستأتي منه الأمثلة الجديدة. التنظيم يضيف تفضيلا $\Omega$ إلى جودة الملاءمة، وλ يحدد ثمنه.

لو كان خطأ نموذج A يساوي 0.20 ومقداره 10، وخطأ B يساوي 0.23 ومقداره 2، فعند $\lambda=0.01$ تصبح التكلفتان 0.30 و0.25 ونفضل B. التضحية ببعض التدريب قد تفيد التعميم، لكنها لا تضمن ذلك؛ فالخسارة والمنتظم والعقوبة الموزونة والهدف الكامل أشياء ينبغي تمييزها.

1loss = np.array([.20, .23])2magnitude = np.array([10., 2.])3print(loss + .01*magnitude)  # [0.30, 0.25]

ثمن المقدار: $\lambda$

حين تكون $\Omega$ هي $L_{1}$، ندفع ثمن مجموع مقادير المعاملات التي اخترنا تنظيمها، لا بالضرورة كل معاملات النموذج. قد نستثني الثابت أو بعض الانحيازات، ولذلك لا تعني عقوبة قوية أن النموذج كله يصير صفرا.

وλ ليست معدل التعلم $\eta$، ولا عتبة التقليم $\tau$، ولا سماحية توقف الحل؛ الأولى تغير ما نفضل، والثانية مقدار خطوة البحث، والثالثة قرار الحذف اللاحق. ويعتمد ثمن $\lambda$ على وحدات المتغيرات وتطبيع الخسارة: ضرب متوسط الخسارة والعقوبة معا في n يحافظ على الحل، أما تحويل المتوسط إلى مجموع دون تعديل العقوبة فيغير قوته.

في Lasso التربيعي مع بيانات متمركزة تكون λmax أكبر ارتباط مطلق بين الأعمدة والاستجابة مقسوما على n، وعندها تصل جميع معاملات الميل إلى الصفر. القيمتان المطبوعتان متساويتان لأننا ضربنا العقوبة أيضا في عدد المشاهدات؛ ترك $\lambda$ كما هي عند الانتقال من المتوسط إلى المجموع يغيّر المسألة.

1losses = np.array([.4, .2, .3]); penalty, lam = 2., .052print(len(losses)*(losses.mean()+lam*penalty),3      losses.sum()+len(losses)*lam*penalty)

بيانات نعيد صنعها

لنر هذه العلاقة في بيانات يمكن إعادة صنعها، وهي المثال الاصطناعي نفسه في البحث: المتغير x2 شديد الارتباط بـx1، أما x3 فضجيج، والاستجابة تعتمد على x1 مع ضجيج إضافي. كل صف في X مشاهدة، وكل عمود متغير، وy هو ما نريد توقعه.

نثبت البذرة لنكرر التجربة، ونتعلم متوسطات الأعمدة ومقاييسها من التدريب وحده ثم نطبقها على عينة مرجعية مستقلة؛ ونطرح متوسط استجابة التدريب كي نعالج الميل دون عقوبة على الثابت. الأرقام التالية للتعليم، والعينة المرجعية لا ينبغي أن تتحول إلى بيانات نكرر ضبط النموذج عليها في دراسة فعلية.

1def make_data(n, seed):2    rng = np.random.default_rng(seed)3    x1 = rng.normal(size=n)4    x2 = .985*x1 + np.sqrt(1-.985**2)*rng.normal(size=n)5    x3 = rng.normal(size=n)6    return np.column_stack([x1, x2, x3]), 2*x1+.6*rng.normal(size=n)7Xraw, yraw = make_data(180, 12)8Xtest_raw, ytest = make_data(800, 31)9mu, scale, ybar = Xraw.mean(0), Xraw.std(0), yraw.mean()10X, y = (Xraw-mu)/scale, yraw-ybar11Xtest = (Xtest_raw-mu)/scale

من المربعات الصغرى إلى Ridge وLasso

الانحدار بالمربعات الصغرى OLS يبحث عن $\beta$ تجعل Xβ قريبة من y، وتؤدي مشتقته إلى المعادلات الطبيعية؛ إذا كانت الأعمدة مستقلة أمكن كتابة الحل باستخدام معكوس XᵀX، لكن عمليا نستخدم حلا عدديا مستقرا، ومع الاعتماد قد لا تكون المعاملات وحيدة. يضيف Ridge نصف $\lambda L_{2}$ المربع فيقلص الاتجاهات ضعيفة التحديد، ويضيف Lasso مقدار $\lambda L_{1}$ فيمكنه تصفير بعض المعاملات.

في بياناتنا يعطي OLS تقريبا (2.0563، −0.1672، −0.0386)، وRidge عند 0.10 يعطي (1.0626، 0.7356، −0.0325)، وLasso عند 0.07 يعطي (1.8211، 0، 0). أخطاء العينة المرجعية متقاربة: 0.3862 و0.4051 و0.3869؛ اختلاف توزيع المعاملات لا يعني دائما اختلافا كبيرا في التنبؤ.

الكود يترك تفاصيل المحلّل للمكتبة كي نرى المقارنة بوضوح؛ وسنفهم خطوة العتبة بعد قليل. ولكي نرى متى تختفي المعاملات كلها، جرّب مضاعفات λmax؛ عند بلوغها تبقى الاستجابة المتوسطة وحدها في هذا النموذج المتمركز.

1from sklearn.linear_model import Lasso2beta_ols = np.linalg.lstsq(X, y, rcond=None)[0]3beta_ridge = np.linalg.solve(X.T@X+len(y)*.10*np.eye(3), X.T@y)4beta_lasso = Lasso(alpha=.07, fit_intercept=False,5                   tol=1e-10, max_iter=50000).fit(X, y).coef_6for name, beta in [("OLS", beta_ols), ("Ridge", beta_ridge), ("Lasso", beta_lasso)]:7    error = np.mean((ytest-ybar-Xtest@beta)**2)8    print(name, np.round(beta, 4), "test MSE:", round(error, 4))

1lambda_max = np.max(np.abs(X.T@y))/len(y)2for ratio in [.1, .5, 1., 1.2]:3    b = Lasso(alpha=ratio*lambda_max, fit_intercept=False,4              tol=1e-10, max_iter=50000).fit(X, y).coef_5    print("lambda/lambda_max:", ratio, "active:", np.count_nonzero(np.abs(b)>1e-8))

كيف يصبح الصفر حلا؟

زاوية القيمة المطلقة هي ما يجعل الصفر ممكنا، ولنحل المسألة لرقم واحد كي لا تختبئ الفكرة في المصفوفات. نريد تصغير (w−a)²/2+λ|w|، حيث a هو الرقم الذي تفضله البيانات وحدها.

إذا كان w موجبا فالمشتقة w−a+λ، فيكون الحل a−λ بشرط a>λ؛ وإذا كان سالبا فالمشتقة w−a−λ، فيكون الحل a+λ بشرط a<−λ. عند الصفر لا توجد مشتقة واحدة، لكن توجد مجموعة ميول داعمة [−1، 1] تسمى التفاضل تحت التدرجي؛ فيتحقق شرط الصفر عندما |a|≤λ.

لذلك تمحو العتبة اللينة القيم داخل هذا المجال وتطرح $\lambda$ من مقدار القيم الباقية. أما Ridge فيعطي a/(1+$\lambda$)، فيقلص الرقم غير الصفري دون محوه عادة عند $\lambda$ منتهية.

1def soft(v, threshold):2    return np.sign(v) * np.maximum(np.abs(v)-threshold, 0.0)3a = np.array([-2., -.5, 0., .5, 2.]); lam = .84print("OLS:", a)5print("Ridge:", a/(1+lam))6print("Lasso:", soft(a, lam))

الموازنة عند الحل

حين نرجع إلى المتجه لا نقارن المعامل منفردا بالضجيج، بل ننظر إلى علاقته بالباقي r=y−Xβ بعد الملاءمة المشتركة. شروط KKT تقول إن ارتباط عمود بمعامل غير صفري مع الباقي يساوي $\lambda$ مضروبا في إشارته، أما إذا كان المعامل صفرا فيكفي أن يقع الارتباط داخل [−$\lambda$، $\lambda$].

هذه موازنة بين ضغط الملاءمة وضغط العقوبة، وهي شهادة أمثلية في المسألة المحدبة. وفي تحديث الإحداثيات نعزل أثر العمود الحالي، فنحسب الباقي الجزئي ثم ارتباطه c_j ومربعه المتوسط q_j، وتصبح الخطوة Sλ(c_j)/q_j.

لا يخمن الحل الصفر؛ بل تصنعه مسألة العتبة ذاتها. إذا كان الرقم المطبوع قريبا من الصفر فشروط الموازنة متحققة عدديا؛ لكنه لا يخبرنا وحده كيف سيعمل النموذج على بيانات جديدة.

1r = y-X@beta_lasso2corr = X.T@r/len(y)3active = np.abs(beta_lasso) > 1e-84violations = np.where(active, np.abs(corr-.07*np.sign(beta_lasso)),5                      np.maximum(np.abs(corr)-.07, 0))6print("Largest KKT violation:", violations.max())

خطوة تصل إلى الصفر

وقد يبدو أن استخدام الميل مباشرة يكفي، لكنه قد يقفز عبر الزاوية بدلا من الهبوط عليها؛ فمع |w| ونقطة 0.03 وخطوة 0.1 يمكن أن نتناوب بين 0.03 و−0.07. الطريقة القريبة proximal تفصل الحركة التي تقلل الخسارة الناعمة عن معالجة العقوبة: نأخذ خطوة تدرج، ثم نطبق العتبة ηλ على الناتج.

في المثال التالي تصبح (0.04، −0.20، 0) أولا (0.03، −0.15، 0.06)، ثم $(0, -0.11, 0.02)$. اختفى عنصر، تقلص آخر، وعاد عنصر كان صفرا؛ الصفر ليس حكما دائما إذا تغير تدرج الملاءمة.

ومع خسارة محدبة ذات تدرج L-Lipschitz تكفي عادة خطوة 0<$\eta\le 1$/L لضمانات التقارب المناسبة.

1weights = np.array([.04, -.20, 0.])2gradient = np.array([.10, -.50, -.60])3intermediate = weights-.1*gradient4print(intermediate, "->", soft(intermediate, .1*.4))

ما مدى دقة الحل؟

وبعد أن نجد حلا نحتاج إلى معرفة مدى دقته، وهذا سؤال آخر غير جودة تنبؤه. في Lasso التربيعي تعطينا المسألة الثنائية قيمة دنيا يمكن مقارنتها بالهدف الأصلي؛ الفارق بينهما يحد خطأ الأمثلية في قيمة الهدف.

يبني الكود متجها ثنائيا صالحا من الباقي ثم يحسب هذا الفارق؛ كلما اقترب من الصفر اقتربنا من حل المسألة نفسها، دون أن يكون ذلك شهادة على جودة التنبؤ. في مثالنا يتقارب الهدفان إلى 0.3200 تقريبا، وقد يظهر فرق بالغ الصغر بسبب التقريب العددي.

ويمكن استخدام الفجوة أيضا في استبعاد آمن للأعمدة، لكننا نكتفي هنا بالسؤال الذي بدأنا به: هل انتهى البحث العددي؟

1lam, n = .07, len(y)2r = y-X@beta_lasso3u = r/max(1., np.max(np.abs(X.T@r))/(n*lam))4primal = r@r/(2*n)+lam*np.abs(beta_lasso).sum()5dual = y@u/n-u@u/(2*n)6print("Primal / dual:", primal, dual)7print("Gap:", primal-dual)  # Near zero; tiny rounding errors are possible.

اختيار $\lambda$

حتى الحل الدقيق قد يستخدم $\lambda$ غير مناسبة، لذلك نختار قوة التنظيم بالتقييم على بيانات لم تدخل في الملاءمة. في التحقق المتقاطع نقسم التدريب إلى طيات، ونلائم على بعضها ثم نقيم على الباقي؛ ويجب أن يتعلم توحيد المقاييس من داخل كل طية تدريب حتى لا تتسرب معلومات التحقق.

يجمع Pipeline الخطوتين، وGridSearchCV يبحث عن $\lambda$، ويسميها البرنامج alpha في Lasso تحت تطبيعنا نفسه. المثال يختار نحو 0.0297، لكن الرقم ليس توصية عامة.

وإذا استخدمنا نتائج الضبط لتقدير الأداء دون عينة اختبار مستقلة احتجنا إلى تقييم خارجي، كتحقق متداخل؛ والبيانات الزمنية أو المجمعة تحتاج إلى تقسيم يحترم وقتها أو مجموعاتها.

1from sklearn.linear_model import Lasso2from sklearn.model_selection import GridSearchCV, KFold3from sklearn.pipeline import Pipeline4from sklearn.preprocessing import StandardScaler5procedure = Pipeline([("scale", StandardScaler()),6                      ("fit", Lasso(max_iter=50000, tol=1e-10))])7search = GridSearchCV(procedure,8    {"fit__alpha": np.geomspace(.003, .5, 30)},9    scoring="neg_mean_squared_error", cv=KFold(5, shuffle=True, random_state=20))10search.fit(Xraw, yraw)11print(search.best_params_, np.mean((ytest-search.predict(Xtest_raw))**2))

بين الانحياز والتباين

وتأثير التنظيم إحصائيا لا يختصر في عدد الأصفار. الانحياز هو الفرق بين متوسط التقدير عبر عينات مفترضة والقيمة الحقيقية، والتباين يصف تغيره بين تلك العينات؛ والخطأ التربيعي في تقدير معامل يجمع مربع الانحياز والتباين.

قد نقبل انحيازا لنخفض التباين، لكن التنظيم الزائد يزيد الخطأ. إذا كان تقدير a متوسطه 2 وتباينه 1، فإن Ridge عند $\lambda=0.25$ يجعل الانحياز −0.4 والتباين 0.64، فيكون الخطأ 0.8 بدلا من 1؛ وعند $\lambda=3$ يرتفع إلى 2.3125.

ومع الأعمدة المترابطة يمكن لمعاملات مختلفة أن تعطي تنبؤات شبه متطابقة. وحتى مرونة Ridge ليست مجرد عدد معاملاته، بل مجموع d_$k^{2}$/(d_$k^{2}$+nλ) لاتجاهاته المفردة في الصيغة المتمركزة.