مهندسان شرکت پینترست به‌طور دائم الگوریتم‌های جدید هوش مصنوعی را ایجاد می‌کنند تا به کاربران خود کمک کنند در میان میلیاردها عکس غذا، محصول، خانه و آیتم‌های دیگر، چیزی را که به دنبالش هستند به راحتی پیدا کنند. هماهنگ کردن کلیدواژه‌های جست‌وجو با تصاویر مرتبط برای حفظ کاربران و بازگشت آنها حیاتی است اما تا همین سال گذشته، تست کردن اثربخشی هر الگوریتم جدید روزها طول می‌کشید.

شرکت پینترست برای بیشترین بهره‌برداری از یادگیری ماشینی و ارائه نتایج بهتر و سریع‌تر در جست‌وجوی کاربران، به منبعی غیرمنتظره روی آورد: هوش انسانی. پینترست شرکت‌های برون‌سپاری‌کننده مانند CrowdFlower را به‌کار گرفته تا افراد را برای انجام «وظایف خرد» مانند برچسب‌گذاری روی عکس‌ها و ارزیابی کیفیت نتایج جست‌وجو راهنمایی کند. افرادی که به این کار گماشته می‌شوند، ظرف یک ساعت می‌توانند صدها اصطلاح به‌کار رفته در جست‌وجوها را تست کنند تا ببینند آیا نتایج به اندازه کافی با جست‌وجوها مرتبط است یا نه. با وجود کلیه پیشرفت‌های اخیر در هوش مصنوعی، به‌طور کلی انسان در تشخیص برخی چیزها مثل طرح کاشی با نقشی مشابه روی پارچه کارآمدتر عمل می‌کند. به گفته یکی از کارشناسان بخش داده در شرکت پینترست، «هنوز راه زیادی باقی مانده تا ماشین‌ها بتوانند چنین کارآیی‌هایی داشته باشند.» تجربه پینترست نشان‌دهنده واقعیتی اغلب فراموش شده است: اینکه هوش مصنوعی و یادگیری ماشینی، به اندازه ریاضیات، به هوش انسان وابسته‌اند. موتور جست‌وجوی گوگل از هزاران «ارزیاب» انسانی برای تخمین کیفیت نتایج جست‌وجو با کمک هوش مصنوعی استفاده می‌کند.

نرم‌افزار تشخیص صورت فیس‌بوک از کاربران می‌خواهد بر عکس‌های خود برچسب بزنند تا دقت کار بالا برود. «یادگیری عمیق» که به آن یادگیری سلسله‌مراتبی نیز گفته می‌شود، شاخه‌ای از هوش مصنوعی است که عامل پیشرفت‌های اخیر در تشخیص صدا، ترجمه زبان و تحلیل‌های تصویری است و می‌تواند عامل آموزش گسترده به انسان در مورد مجموعه داده‌های دستچین شده باشد. بسیاری از شرکت‌ها مانند پینترست به‌منظور تصفیه داده‌هایی که باید برای تقویت سیستم‌های هوش مصنوعی استفاده شوند، از خدمات برون‌سپاری استفاده می‌کنند تا مفاهیم و روابطی را که نیاز است برای وظایف مشخص بدانند، آموزش دهند. نیروی انسانی با تحلیل بخش‌های زبان‌شناسی و حذف عکس‌ها یا فیلم‌های مخربی که کاربران ایجاد کرده‌اند، این وظایف را انجام می‌دهند. گاهی اوقات شرکت‌ها وظایفی را برنامه‌ریزی می‌کنند که افراد حتی بدون اینکه آن را درک کنند به انجام آن اقدام می‌کنند. به‌عنوان مثال، چکی را به حساب می‌خوابانید که دستگاه‌ نمی‌تواند مبلغ آن را بخواند و به این ترتیب سیستم بانک را ارتقا می‌بخشید. اما حتی اگر فعلا بشر بتواند برخی کارها را دقیق‌تر از ماشین انجام دهد، باز هم هوش مصنوعی در نهایت آنقدر هوشمند است که نتوانیم از آن بگذریم.