Wingu la Akili ya Optimizely: Jinsi ya Kutumia Injini ya Takwimu kwa Jaribio la A / B Nadhifu, na haraka zaidi

Injini ya Stats inayofaa na Mikakati ya Upimaji wa A / B

Ikiwa unatafuta kuendesha programu ya kujaribu kusaidia biashara yako kujaribu na ujifunze, kuna uwezekano unatumia Wingu la Akili ya Optimizely - au umeiangalia angalau. Optimizely ni moja wapo ya vifaa vyenye nguvu zaidi kwenye mchezo, lakini kama zana kama hiyo, unaweza kuitumia vibaya ikiwa hauelewi inavyofanya kazi. 

Ni nini hufanya Optimizely kuwa na nguvu sana? Msingi wa seti ya huduma yake iko injini ya takwimu iliyo na habari zaidi na yenye busara katika zana ya mtu wa tatu, hukuruhusu kuzingatia zaidi kupata vipimo muhimu moja kwa moja - bila kuhitaji kuwa na wasiwasi kuwa unatafsiri vibaya matokeo yako. 

Kama utafiti wa kipofu wa jadi katika dawa, Kupima / B itaonyesha nasibu tofauti matibabu ya wavuti yako kwa watumiaji tofauti kisha kulinganisha ufanisi wa kila matibabu. 

Takwimu basi hutusaidia kufanya maoni juu ya jinsi tiba hiyo inaweza kuwa ya muda mrefu. 

Zana nyingi za upimaji wa A / B zinategemea aina moja ya aina mbili za hesabu ya takwimu: Frequentist au takwimu za Bayesian. Kila shule ina faida na hasara anuwai - Takwimu za mara kwa mara zinahitaji saizi ya sampuli kurekebishwa mapema ya kuendesha jaribio, na takwimu za Bayesian zinajali sana juu ya kufanya maamuzi mazuri ya mwelekeo badala ya kutaja takwimu yoyote ya athari, kutaja mifano miwili. Nguvu bora ya Optimizely ni kwamba ndio zana pekee kwenye soko leo kuchukua bora wa ulimwengu wote mbinu.

Matokeo ya mwisho? Optimizely inawezesha watumiaji kuendesha majaribio haraka, kwa kuaminika zaidi, na kwa intuitively zaidi.

Ili kuchukua faida kamili ya hiyo, hata hivyo, ni muhimu kuelewa kinachotokea nyuma ya pazia. Hapa kuna ufahamu na mikakati 5 ambayo itakupa uwezo wa Optimizely kama pro.

Mkakati # 1: Elewa kuwa Sio Metriki Zote Zimeundwa Sawa

Katika zana nyingi za upimaji, suala linalopuuzwa kawaida ni kwamba kadiri unavyoongeza na kufuatilia kama sehemu ya jaribio lako, kuna uwezekano zaidi wa kuona hitimisho lisilo sahihi kwa sababu ya bahati nasibu (katika takwimu, hii inaitwa "shida nyingi za kujaribu ”). Ili kuweka matokeo yake ya kuaminika, Optimizely hutumia safu kadhaa za udhibiti na marekebisho ili kuweka hali mbaya ya hiyo kutokea chini iwezekanavyo. 

Udhibiti na marekebisho hayo yana maana mbili unapoenda kuweka vipimo kwa Optimizely. Kwanza, kipimo unachoteua kama yako Kiwango cha Msingi itafikia umuhimu wa kitakwimu haraka zaidi, vitu vingine vyote mara kwa mara. Pili, kadiri vipimo unavyoongeza kwenye jaribio, ndivyo vipimo vyako vya baadaye vitachukua kufikia umuhimu wa takwimu.

Wakati wa kupanga jaribio, hakikisha unajua ni kipimo gani kitakuwa Kaskazini yako ya Kweli katika mchakato wako wa kufanya maamuzi, fanya hiyo Kiwango chako cha Msingi. Kisha, weka orodha yako yote ya metriki iwe nyepesi kwa kuondoa kitu chochote kisicho na maana sana au tangential.

Mkakati # 2: Jenga Sifa Zako za Kimila

Optimizely ni nzuri kwa kukupa njia kadhaa za kupendeza na za kusaidia kugawanya matokeo yako ya majaribio. Kwa mfano, unaweza kuchunguza ikiwa matibabu fulani hufanya vizuri kwenye eneo-kazi dhidi ya rununu, au angalia tofauti kwenye vyanzo vya trafiki. Kadri programu yako ya majaribio inavyokomaa, utatamani haraka sehemu mpya - hizi zinaweza kuwa maalum kwa kesi yako ya matumizi, kama sehemu za wakati mmoja dhidi ya ununuzi wa usajili, au kwa jumla kama "wageni wapya dhidi ya wageni" (ambayo, kusema ukweli, bado hatuwezi kujua ni kwanini hiyo haijatolewa nje ya sanduku).

Habari njema ni kwamba kupitia uwanja wa Mradi wa Javascript wa Optimizely, wahandisi wanaofahamu Optimizely wanaweza kujenga idadi yoyote ya sifa za kitamaduni ambazo wageni wanaweza kupewa na kugawanywa na. Katika Met Metro, tumeunda moduli kadhaa za hisa (kama "wageni wapya dhidi ya wageni") ambazo tunaweka kwa wateja wetu wote kupitia Mradi wao Javascript. Kutumia uwezo huu ni utofautishaji muhimu kati ya timu zilizokomaa ambazo zina rasilimali sahihi za kiufundi kuwasaidia kutekeleza, na timu ambazo zinajitahidi kutambua uwezo kamili wa majaribio.

Mkakati # 3: Gundua Kiharusi cha Stats Accelerator

Kipengele kimoja cha zana ya upimaji mara nyingi ni uwezo wa kutumia "majambazi wenye silaha nyingi", aina ya algorithm ya kujifunza mashine ambayo hubadilika sana ambapo trafiki yako imetengwa wakati wa jaribio, kutuma wageni wengi kwenye "kushinda" tofauti iwezekanavyo. Suala na majambazi wenye silaha nyingi ni kwamba matokeo yao sio viashiria vya kuaminika vya utendaji wa muda mrefu, kwa hivyo kesi ya matumizi ya aina hizi za majaribio ni mdogo kwa kesi nyeti za wakati kama matangazo ya mauzo.

Optimizely, ingawa, ina aina tofauti ya algorithm ya majambazi inayopatikana kwa watumiaji kwenye mipango ya juu - Stats Accelerator (sasa inajulikana kama chaguo la "Kuongeza kasi ya Mafunzo" ndani ya Majambazi). Katika usanidi huu, badala ya kujaribu kutenga trafiki kwa mabadiliko yanayofanya kazi kwa kiwango cha juu, Optimizely hutenga trafiki kwa tofauti ambazo zinaweza kufikia umuhimu wa takwimu haraka zaidi. Kwa njia hii, unaweza kujifunza haraka, na kubaki majibu ya matokeo ya jadi ya A / B.

Mkakati # 4: Ongeza Emoji kwa Majina yako ya Metri

Kwa mtazamo wa kwanza, wazo hili labda halionekani mahali, hata ndani. Walakini, jambo muhimu la kuhakikisha unasoma matokeo sahihi ya majaribio huanza kwa kuhakikisha kuwa hadhira yako inaweza kuelewa swali. 

Wakati mwingine licha ya bidii yetu kubwa, majina ya metri yanaweza kuchanganyikiwa (subiri - je! Hiyo moto hukaa wakati agizo linakubaliwa, au wakati mtumiaji anapiga ukurasa wa asante?), Au jaribio lina vipimo vingi ambavyo vinasonga juu na chini matokeo ukurasa unaongoza kwa kupakia jumla ya utambuzi.

Kuongeza emojis kwa majina yako ya metriki (malengo, alama za kijani kibichi, hata begi kubwa la pesa linaweza kufanya kazi) kunaweza kusababisha kurasa ambazo zinaweza kuchunguzwa zaidi. 

Tuamini - kusoma matokeo utahisi rahisi zaidi.

Mkakati # 5: Zingatia tena Kiwango chako cha Umuhimu wa Takwimu

Matokeo yanaonekana kuwa kamili katika muktadha wa jaribio linalofaa wakati wamefikia umuhimu wa takwimu. Umuhimu wa takwimu ni neno ngumu la hesabu, lakini haswa ni uwezekano kwamba uchunguzi wako ni matokeo ya tofauti halisi kati ya watu wawili, na sio bahati nasibu tu. 

Viwango vya umuhimu wa takwimu vilivyoripotiwa ni "halali kila wakati" kwa dhana ya kihesabu inayoitwa upimaji wa mfululizo - hii kwa kweli huwafanya wawe wa kuaminika zaidi kuliko wale wa zana zingine za upimaji, ambazo hukabiliwa na kila aina ya maswala ya "kutazama" ikiwa utazisoma mapema sana.

Inafaa kuzingatia ni kiwango gani cha umuhimu wa takwimu unachoona ni muhimu kwa programu yako ya upimaji. Wakati 95% ndio mkutano katika jamii ya wanasayansi, tunajaribu mabadiliko ya wavuti, sio chanjo. Chaguo jingine la kawaida katika ulimwengu wa majaribio: 90%. Lakini uko tayari kukubali kutokuwa na uhakika zaidi ili kuendesha majaribio haraka na kujaribu maoni zaidi? Je! Unaweza kutumia 85% au hata 80% umuhimu wa takwimu? Kuwa na nia juu ya usawa wako wa malipo ya hatari unaweza kulipa gawio la kielelezo kwa muda, kwa hivyo fikiria hii kwa uangalifu.

Soma Zaidi Kuhusu Wingu la Akili ya Optimizely

Kanuni hizi tano za haraka na ufahamu utasaidia sana kuzingatia wakati unatumia Optimizely. Kama ilivyo na zana yoyote, inachemsha kuhakikisha kuwa una uelewa mzuri wa mapendeleo ya nyuma ya pazia, kwa hivyo unaweza kuhakikisha unatumia zana hiyo kwa ufanisi na kwa ufanisi. Kwa uelewa huu, unaweza kupata matokeo ya kuaminika unayoyatafuta, wakati unayohitaji. 

Unafikiri?

Tovuti hii inatumia Akismet kupunguza spam. Jifunze jinsi maoni yako yanasindika.