Optimizely Intelligence Cloud: როგორ გამოვიყენოთ სტატისტიკის ძრავა A/B ტესტირებისთვის უფრო გონიერი და სწრაფი

Optimizely სტატისტიკა ძრავა და A/B ტესტირების სტრატეგიები

თუ თქვენ ეძებთ ექსპერიმენტული პროგრამის გაშვებას, რომელიც დაეხმარება თქვენს ბიზნესს გამოცდასა და სწავლაში, დიდი შანსია თქვენ იყენებთ ოპტიმიზმით ინტელექტის ღრუბელი - ან შენ მაინც შეხედე მას. Optimizely არის ერთ -ერთი ყველაზე ძლიერი ინსტრუმენტი თამაშში, მაგრამ ნებისმიერი სხვა ინსტრუმენტის მსგავსად, თქვენ შეიძლება არასწორად გამოიყენოთ, თუ არ გესმით როგორ მუშაობს. 

რა ხდის Optimizely- ს ასე ძლიერს? მისი მახასიათებლების კომპლექტში მდგომარეობს მესამე მხარის ინსტრუმენტში ყველაზე ინფორმირებული და ინტუიციური სტატისტიკური ძრავა, რომელიც საშუალებას მოგცემთ მეტი კონცენტრირება მოახდინოთ მნიშვნელოვან ტესტებზე პირდაპირ-იმაზე ფიქრის გარეშე, რომ თქვენ არასწორად ინტერპრეტაციას უკეთებთ თქვენს შედეგებს. 

ისევე, როგორც ტრადიციული ბრმა კვლევა მედიცინაში, / B ტესტირება შემთხვევით აჩვენებს განსხვავებულს მკურნალობა თქვენი საიტის სხვადასხვა მომხმარებლებს, რათა შეადარონ თითოეული მკურნალობის ეფექტურობა. 

შემდეგ სტატისტიკა გვეხმარება დავასკვნათ, რამდენად ეფექტურია ეს მკურნალობა გრძელვადიან პერსპექტივაში. 

A/B ტესტირების ინსტრუმენტების უმეტესობა ეყრდნობა სტატისტიკური დასკვნის ერთ – ერთ სახეობას: ხშირი ან ბაიესის სტატისტიკა. თითოეულ სკოლას აქვს სხვადასხვა დადებითი და უარყოფითი მხარეები - ხშირი სტატისტიკა მოითხოვს ექსპერიმენტის დაწყებამდე ნიმუშის ზომის დადგენას, ხოლო ბეიზის სტატისტიკა ძირითადად ზრუნავს კარგი მიმართულებითი გადაწყვეტილებების მიღებაზე, ვიდრე ზემოქმედების რომელიმე ფიგურის მითითებაზე, ორი მაგალითის დასახელებაზე. Optimizely– ის ზესახელმწიფო არის ის, რომ ეს არის ერთადერთი ინსტრუმენტი დღეს ბაზარზე, რომ მიიღოს ორივე სამყაროდან საუკეთესო მიდგომა.

საბოლოო შედეგი? Optimizely საშუალებას აძლევს მომხმარებლებს განახორციელონ ექსპერიმენტები უფრო სწრაფად, უფრო საიმედოდ და ინტუიციურად.

იმისათვის, რომ სრულად ისარგებლოს ამით, მნიშვნელოვანია გვესმოდეს რა ხდება კულისებში. აქ არის 5 შეხედულება და სტრატეგია, რომელიც დაგეხმარებათ ოპტიმიზელის შესაძლებლობების გამოყენებით, როგორც პროფესიონალი.

სტრატეგია #1: გესმით, რომ ყველა მეტრიკა არ არის შექმნილი თანაბარი

სატესტო ინსტრუმენტების უმეტესობაში, საყოველთაოდ შეუმჩნეველი საკითხია ის, რომ რაც უფრო მეტ მეტრიკას დაამატებთ და თვალყურს ადევნებთ თქვენი ტესტის ნაწილს, მით უფრო სავარაუდოა, რომ შემთხვევითი შანსის გამო დაინახავთ არასწორ დასკვნებს (სტატისტიკაში ამას ეწოდება „მრავალჯერადი ტესტირების პრობლემა ”). იმისათვის, რომ შეინარჩუნოს თავისი შედეგები საიმედო, Optimizely იყენებს რიგ კონტროლსა და შესწორებებს, რათა რაც შეიძლება დაბალი იყოს ამის ალბათობა. 

ამ კონტროლს და შესწორებებს ორი მნიშვნელობა აქვს, როდესაც Optimizely– ში ტესტების დასაყენებლად მიდიხართ. პირველ რიგში, მეტრიკა, რომელიც თქვენ დანიშნეთ, როგორც თქვენი პირველადი მეტრიკა მიაღწევს სტატისტიკურ მნიშვნელობას ყველაზე სწრაფად, ყველა დანარჩენი მუდმივი. მეორე, რაც უფრო მეტ მეტრიკას დაამატებთ ექსპერიმენტს, მით უფრო მეტ დროს დაგჭირდებათ სტატისტიკური მნიშვნელობის მიღწევა.

ექსპერიმენტის დაგეგმვისას, დარწმუნდით, რომ იცით რომელი მეტრიკი იქნება თქვენი ჭეშმარიტი ჩრდილოეთი თქვენი გადაწყვეტილების მიღების პროცესში, გახადეთ ეს თქვენი ძირითადი მეტრიკა. შემდეგ, შეინარჩუნეთ დანარჩენი თქვენი მეტრიკის სია მჭლე, წაშალეთ ყველაფერი, რაც ზედმეტია ან ტანგენციალური.

სტრატეგია #2: შექმენით თქვენი საკუთარი პერსონალური ატრიბუტები

Optimizely შესანიშნავია იმისთვის, რომ მოგცეთ რამდენიმე საინტერესო და გამოსადეგი გზა თქვენი ექსპერიმენტის შედეგების სეგმენტირებისთვის. მაგალითად, თქვენ შეგიძლიათ შეამოწმოთ რამდენად ეფექტურია გარკვეული მკურნალობა დესკტოპთან შედარებით მობილურით, თუ დააკვირდებით განსხვავებებს ტრაფიკის წყაროებში. მიუხედავად იმისა, რომ თქვენი ექსპერიმენტული პროგრამა მომწიფდება, თქვენ სწრაფად მოისურვებთ ახალ სეგმენტებს-ეს შეიძლება იყოს სპეციფიკური თქვენი გამოყენების შემთხვევისთვის, მაგალითად, სეგმენტები ერთჯერადი სააბონენტო შესყიდვებისთვის, ან ისეთივე ზოგადი, როგორიც არის „ახალი ვიზიტორების დაბრუნების წინააღმდეგ“ (რაც გულწრფელად რომ ვთქვათ, ჩვენ ჯერ კიდევ ვერ ვხვდებით, რატომ არ არის ეს გათვალისწინებული ყუთში).

კარგი ამბავი ის არის, რომ Optimizely– ის პროექტის Javascript ველის საშუალებით, Optimizely– ის ნაცნობ ინჟინრებს შეუძლიათ შექმნან ნებისმიერი რაოდენობის საინტერესო პერსონალური ატრიბუტი, რომლითაც დამთვალიერებლები შეიძლება დაინიშნოს და დაიყოს სეგმენტი. Cro Metrics– ში ჩვენ ავაშენეთ არაერთი საფონდო მოდული (მაგალითად, „ახალი სტუმრების დაბრუნების წინააღმდეგ“), რომელსაც ჩვენ ვამონტაჟებთ ყველა ჩვენი კლიენტისთვის მათი პროექტის Javascript– ის საშუალებით. ამ უნარის გამოყენება არის მთავარი დიფერენციაცია მოწიფულ გუნდებს შორის, რომლებსაც აქვთ შესაბამისი ტექნიკური რესურსი, რათა დაეხმარონ მათ შესრულებაში და გუნდებს შორის, რომლებიც იბრძვიან ექსპერიმენტის სრული პოტენციალის რეალიზებისთვის.

სტრატეგია #3: გამოიკვლიეთ Optimizely- ის სტატისტიკის ამაჩქარებელი

ტესტირების ერთ – ერთი ყველაზე ხშირად გამოსაყენებელი თვისება არის „მრავალმხრივი ბანდიტების“ გამოყენების უნარი, მანქანათმცოდნეობის ალგორითმის ტიპი, რომელიც დინამიურად იცვლება იქ, სადაც თქვენი ტრაფიკი გამოიყოფა ექსპერიმენტის მსვლელობისას, რაც შეიძლება მეტი ვიზიტორი გაუგზავნოს „გამარჯვებულს“ ვარიაცია რაც შეიძლება. მრავალ შეიარაღებული ბანდიტების პრობლემა ის არის, რომ მათი შედეგები არ არის გრძელვადიანი მუშაობის საიმედო მაჩვენებლები, ამიტომ ამ ტიპის ექსპერიმენტების გამოყენების შემთხვევები შემოიფარგლება დროულად მგრძნობიარე შემთხვევებით, როგორიცაა გაყიდვების აქციები.

ოპტიმისტურად, აქვს განსხვავებული ტიპის ბანდიტური ალგორითმი, რომელიც ხელმისაწვდომია მომხმარებლებისთვის მაღალ გეგმებზე - სტატისტიკის ამაჩქარებელი (ახლა ცნობილია როგორც ბანდიტების შიგნით "სწავლების დაჩქარების" ვარიანტი). ამ კონფიგურაციაში, იმის ნაცვლად, რომ შეეცადოს დინამიურად გამოყოს ტრაფიკი ყველაზე მაღალ მაჩვენებელზე, Optimizely დინამიურად ანაწილებს ტრაფიკს იმ ცვალებადობებზე, რომლებიც სავარაუდოდ მიაღწევენ სტატისტიკურ მნიშვნელობას ყველაზე სწრაფად. ამ გზით თქვენ შეგიძლიათ ისწავლოთ უფრო სწრაფად და შეინარჩუნოთ ტრადიციული A/B ტესტის შედეგების გამეორება.

სტრატეგია #4: დაამატეთ ემოჯი თქვენს მეტრულ სახელებს

ერთი შეხედვით, ეს იდეა ალბათ უადგილოდ ჟღერს, თუნდაც სულელურად. ამასთან, ექსპერიმენტის სწორი შედეგის დარწმუნების ძირითადი ასპექტი იწყება იმაში, რომ დარწმუნდეთ, რომ თქვენს აუდიტორიას შეუძლია გაიგოს კითხვა. 

ხანდახან ჩვენი ძალისხმევის მიუხედავად, მეტრული სახელები შეიძლება დამაბნეველი იყოს (დაელოდეთ - ეს მეტრიკი იწვის როდესაც შეკვეთა მიიღება, ან როდესაც მომხმარებელი მოხვდება მადლობის გვერდზე?), ან ექსპერიმენტს აქვს იმდენი მეტრიკა, რომ გადაახვიეთ შედეგები ქვემოთ და ქვემოთ გვერდი იწვევს სრულ კოგნიტურ გადატვირთვას.

ემოციის დამატება თქვენს მეტრიკულ სახელებში (სამიზნეები, მწვანე ნიშნები, თუნდაც ფულის დიდი ტომარა შეიძლება იმუშაოს) შეიძლება გამოიწვიოს გვერდები, რომლებიც გაცილებით სკანირებადია. 

დაგვიჯერეთ - შედეგების წაკითხვა გაცილებით ადვილი იქნება.

სტრატეგია #5: ხელახლა განიხილეთ თქვენი სტატისტიკური მნიშვნელობის დონე

შედეგები ოპტიმიზირებული ექსპერიმენტის კონტექსტში დამტკიცებულია, როდესაც ისინი მიაღწევენ სტატისტიკური მნიშვნელობარა სტატისტიკური მნიშვნელობა არის მკაცრი მათემატიკური ტერმინი, მაგრამ არსებითად ეს არის ალბათობა იმისა, რომ თქვენი დაკვირვებები არის შედეგი ორ პოპულაციას შორის რეალური განსხვავებისა და არა მხოლოდ შემთხვევითი შანსის. 

ოპტიმიზელის მიერ მოხსენებული სტატისტიკური მნიშვნელობის დონე "ყოველთვის მოქმედებს" მათემატიკური კონცეფციის წყალობით თანმიმდევრული ტესტირება - ეს რეალურად მათ უფრო საიმედოდ აქცევს, ვიდრე სხვა საცდელი ინსტრუმენტები, რომლებიც მიდრეკილნი არიან ყველა სახის "peeking" საკითხებზე, თუ მათ ძალიან მალე წაიკითხავთ.

ღირს იმის გათვალისწინება, თუ რა დონის სტატისტიკურ მნიშვნელობას მიიჩნევთ თქვენს ტესტირების პროგრამაში. მიუხედავად იმისა, რომ 95% არის კონვენცია სამეცნიერო საზოგადოებაში, ჩვენ ვამოწმებთ ვებგვერდის ცვლილებებს და არა ვაქცინებს. კიდევ ერთი საერთო არჩევანი ექსპერიმენტულ სამყაროში: 90%. მაგრამ მზად ხართ მიიღოთ ცოტა მეტი გაურკვევლობა, რათა უფრო სწრაფად განახორციელოთ ექსპერიმენტები და გამოსცადოთ მეტი იდეა? შეგიძლიათ გამოიყენოთ 85% ან თუნდაც 80% სტატისტიკური მნიშვნელობა? რისკისა და ჯილდოს ბალანსის განზრახვას შეუძლია დროთა განმავლობაში გადაიხადოს ექსპონენციალური დივიდენდები, ასე რომ ყურადღებით იფიქრეთ ამაზე.

დაწვრილებით Optimizely Intelligence Cloud- ის შესახებ

ეს ხუთი სწრაფი პრინციპი და შეხედულება წარმოუდგენლად გამოსადეგი იქნება გახსოვდეთ Optimizely– ის გამოყენებისას. ნებისმიერი ინსტრუმენტის მსგავსად, ის ემყარება იმაში დარწმუნებას, რომ თქვენ კარგად გესმით კულისების მიღმა არსებული ყველა პერსონალიზაცია, ასე რომ თქვენ შეგიძლიათ დარწმუნდეთ რომ იყენებთ ინსტრუმენტს ეფექტურად და ეფექტურად. ამ გაგებით, თქვენ შეგიძლიათ მიიღოთ საიმედო შედეგები, რომელსაც თქვენ ეძებთ, როცა დაგჭირდებათ. 

რას ფიქრობთ?

ეს საიტი იყენებს Akismet- ს, რათა შეამციროს სპამი. შეისწავლეთ თქვენი კომენტარის მონაცემები დამუშავებული.