این روزها بیش از هر زمان دیگری، مدیران با استفاده از آزمایش‌های کنترل‌شده‌ی تصادفی، تصمیمات مهم خود را اتخاذ می‌کنند. شکی نیست که برخی سازمان‌ها، از آمازون گرفته تا بسیاری از دولت‌ها، سود زیادی از این روند برده‌اند. اما نکته‌ای که نظر محققین را به خود جلب کرده، این است که اغلب سازمان‌ها، روش خاصی را برای طراحی و تفسیر آزمایش‌های خود پیش‌بینی نمی‌کنند. به‌علاوه، بسیاری از شرکت‌ها نیز نمی‌دانند چگونه باید یک تست را آغاز کرده و توسعه دهند.
به‌عنوان‌مثال یکی از روش‌های محبوب سازمان‌های امروزی، معرفی محصولات جدید به مجموعه‌ای از بازارهای تصادفی است. برای اینکه متوجه شوید این تست تا چه میزان ارزشمند است، به یاد بیاورید که اوبر چگونه در سال ۲۰۱۸ سرویس Express Pool خود را معرفی کرد.
در آن زمان اوبر به‌تازگی سرویس UberPool را راه‌اندازی کرده بود. مسافران اوبرپول می‌توانستند در یک مسیر مشترک، سواری و هزینه‌های خود را به اشتراک بگذارند. بعلاوه مسافران UberPool می‌توانستند هرجایی که می‌خواهند بروند، به این شرط که از سرویس‌های اوبر استفاده کنند. اما با سرویس اکسپرس پول، که هزینه‌ی کمتری نسبت به اوبرپول دارد، مسافران می‌توانند مسافتی را پیاده بروند تا به تاکسی خود برسند، یا در نقطه‌ای پیاده شوند و مابقی راه تا مقصد را پیاده بروند.
سال ۲۰۱۸، اوبر پیش از راه‌اندازی اکسپرس پول از دانکن گیلکریست، دکترای اقتصاد کسب‌وکار از دانشگاه هاروارد و مدیر علوم داده، درخواست کرد که احتمال موفقیت این سرویس جدید را ارزیابی کند. او باید بررسی می‌کرد که احتمالاً چند درصد از رانندگان به پروژه‌ی اکسپرس پول می‌پیوندند و سرویس جدید، در چشم‌اندازی وسیع‌تر، چگونه کل اکوسیستم اوبر را تحت تأثیر قرار می‌دهد.
دانکن و تیم او برای پاسخ به این سؤال، یک آزمایش را برنامه‌ریزی کردند. آن‌ها اکسپرس پول را در ۶ ش بازار بزرگ راه‌اندازی کردند و پس‌ازآن مجموعه‌ی متریک‌ها را با شهرهای دیگر مقایسه کردند. آن‌ها از پیشرفت‌های اخیر آزمایشات تجربی بهره گرفتند، به‌ویژه یک روش آماری که اجازه می‌داد با استفاده از ترکیب وزنی شهرهای دیگر، یک «گروه کنترل‌شده» سینتیک مناسب‌تر را تشکیل دهد. تیم تحقیقاتی با استفاده از این روش می‌توانست بهترین روش‌های راه‌اندازی سرویس‌های اوبر را بیابد.
همان‌طور که انتظار می‌رفت، اکسپرس پول مدل‌های جدیدی از «هم‌سفری» را پایه‌گذاری کرد. اما تیم تحقیقاتی، باید تأثیر اکسپرس پول را بر سایر سرویس‌های اوبر نیز بررسی می‌کرد تا مطمئن شود به لحاظ سودآوری کسب‌وکار، این سرویس جدید ارزشمند است. درنهایت، اوبر با اطمینان به نتایج مثبت تحقیقات، اکسپرس پول را در بسیاری از بازارهای اصلی خود عرضه کرد. این اعتماد و اطمینان، بدون آزمایش‌های محققان امکان‌پذیر نبود.
در حال حاضر بازارهای آنلاینی نظیر اوبر، Airbnb، روور و تیندر، فراوان‌اند و این تنها اوبر نیست که پیش از عرضه‌ی محصولات یا خدمات نوآورانه و جدید خود، به آزمایش‌های متعدد روی می‌آورد
به‌عنوان‌مثال، Airbnb به‌تازگی آزمایشی را تکمیل کرده که از طریق آن، تأثیر طراحی صفحه‌ی فرود را بر نتایج موتورهای جستجو و ترافیک وب‌سایت ارزیابی کند. در اجرای آزمایش‌ها، Airbnb از این مزیت بهره گرفت که صفحات فرود این وب‌سایت برای بازارهای مختلف، URL های مختلفی داشتند (سان‌فرانسیسکو، بوستون، نیویورک و غیره). بنابراین Airbnb می‌توانست URLها را به‌صورت تصادفی برای طراحی جدید انتخاب و تأثیر آن‌ها به‌صورت جداگانه روی موتورهای جستجو بررسی کند.
Airbnb از طریق همین آزمایش متوجه شد که طراحی جدید موفق است. مشخص شد که طراح جدید، ترافیک ناشی از موتورهای جستجو را ۳.۵ درصد افزایش می‌دهد، که معادل با ده‌ها میلیون بازدیدکننده‌ی روزانه‌ی این پلتفرم بود. بر اساس این نتایج، Airbnb طراحی جدید را برای همه‌ی بازارها به کار گرفت.
تست محصولات و نوآوری‌های جدید، صرفاً به شرکت‌های بزرگ محدود نمی‌شود. فرض کنید که یک رستوران زنجیره‌ای می‌خواهد یک ساندویچ بوقلمون جدید را به منوی خود اضافه کند. یک رویکرد سنتی، این است که رستوران، ساندویچ را در چند فروشگاه استراتژیک عرضه کرده و روی گروه‌های خاصی از مشتریان تمرکز می‌کند. سپس سابقه‌ی فروش سایر محصولات را مدنظر قرار می‌دهد.
اگر ساندویچ جدید، مشخصاً از طرف مردم مورد استقبال قرارگرفته بود، رستوران زنجیره‌ای آن را در همه‌ی شعب خود ارائه می‌کند و امیدوار است که نهایتاً محصول با موفقیت روبرو شود. این رویکرد بینش نسبی خوبی را در مورد محصولات جدید فراهم می‌کند، اما درعین‌حال با محدودیت‌های قابل‌توجهی هم مواجه است. برای مثال، نمی‌توانیم به‌سادگی تشخیص دهیم که آیا این محصول جدید، نرخ خرید سایر محصولات را تحت تأثیر قرار داده یا آیا تعداد کلی مشتریان افزایش یافته است؟
درحالی‌که اگر رستوران زنجیره‌ای می‌توانست رویکرد فوق را در تعداد زیادی شعبه‌ی تصادفی اجرا کند، یعنی محصول جدید را در بازارهای مختلف تصادفی عرضه کند، اطلاعات وسیع‌تر و مهم‌تری در مورد فروش (چه محصولات قدیمی و چه محصول جدید)، حفظ مشتری و رضایت مشتری به دست می‌آورد.
همان‌طور که شاهدیم، شرکت‌ها فرصت‌های فوق‌العاده‌ای برای آزمایش‌های گسترده در اختیار ندارند. به‌علاوه، تست‌هایی را می‌بینیم که از ضعف پیاده‌سازی و تفسیر نتایج رنج می‌برند. اما شرکت‌هایی که می‌خواهند محصولات جدید و آزمایشی خود را تست کنند، می‌توانند کار خود را با توصیه‌های کارشناسان آغاز کنند:
۱- مشخص کنید که چه متریک‌هایی، بیش از همه برای شما اهمیت دارد. سپس فرضیاتی را در مورد احتمال و چگونگی تغییر متریک‌ها مطرح کنید. روی جمع‌آوری داده‌ها سرمایه‌گذاری کنید. پیشاپیش، مشخص کنید که نتایج به‌دست‌آمده، در چه حالتی بیانگر شکست یا پیروزی آزمایش شما خواهد بود. به‌عنوان‌مثال، شاید اگر تعداد بیشتری از مردم، محصولی را خریداری کنند، یک نشانه‌ی مثبت محسوب شود، ولی اگر هم‌زمان تعداد تماس‌هایی که با بخش پشتیبانی محصول گرفته می‌شود بیشتر باشد، یک نشانه‌ی منفی خواهد بود.
۲- یک زیرمجموعه تصادفی از بازارها (بازارهای چند منطقه، چند شهر یا چند فرانشیز) را انتخاب و محصول را در آن‌ها عرضه کنید. معمولاً آزمایش‌هایی که در سطح «بازار» صورت می‌گیرند، با حواشی زیادی همراه هستند. بنابراین به‌دقت به این موضوع فکر کنید که آیا می‌توانید شواهد موردنظر را از بین همه‌ی اتفاقات، جمع‌آوری کنید؟ محاسبات توانی، به پیش‌فرض‌های زیادی نیاز دارند، ولی در دستیابی به این هدف شما را یاری می‌کنند.
۳- به یاد داشته باشید که نه‌تنها باید محصول جدید را ردیابی کنید، بلکه باید تأثیر عرضه‌ی محصول جدید بر سایر محصولات قدیمی را نیز ارزیابی کنید. فرض کنیم اکسپرس پول، به‌تنهایی خدمات موفقی به نظر می‌رسید. اما اگر تأثیر آن بر بازار کلیه‌ی خدمات سواری اوبر مثبت نبود، هرگز تا این حد ارزشمند دیده نمی‌شد. به‌طور مشابه، زمانی که Airbnb محصول جدیدی را راه‌اندازی می‌کند، تأثیر آن را بر نرخ رزرو محصولات قدیمی خود نیز در نظر می‌گیرد. یا وقتی استارباکس گزینه‌ی جدیدی را به منوی صبحانه‌ی خود اضافه می‌کند، نه‌تنها میزان استقبال مردم از میان وعده‌ی جدید، بلکه تأثیر آن بر فروش کلیه‌ی اقلام منو را مدنظر قرار می‌دهد.
۴- اطمینان حاصل کنید که علت اصلی شکست یا موفقیت محصول جدید خود را فهمیده‌اید. متریک‌هایی مانند درآمد و فروش، همه‌ی داستان را بیان نمی‌کنند. ممکن است یک محصول، رضایت خاطر برخی از مشتریان را جلب کند و هم‌زمان نارضایتی عده‌ی دیگری را به دنبال داشته باشد. حتماً به این موضوع توجه کنید که آیا محصول جدید به گروهی از مشتریان شما کمک می‌کند ولی به گروه دیگر آسیب می‌رساند؟ آیا این نتایج، با فرضیاتی که پیش از شروع آزمایش مطرح کرده بودید، هماهنگی دارد؟ با درک علل انتقال یا تغییر یک متریک، نه‌تنها تصمیم‌گیری بهتری در مورد عرضه‌ی محصول خواهید داشت، بلکه متوجه می‌شوید چگونه باید در فضای یک محصول، نوآوری کنید.
منبع: زومیت
