Відповідь ви дізнаєтеся в кінці статті
А я поки розповім, з чого все почалося.
проблема замовника
"Піано Майстер 2" - додаток для навчання гри на фортепіано і в той же час цікавий музичний розвага. Сенс додатки полягає в тому, щоб встигати натискати на клавіші, на які падають нотки у вигляді цеглинок. Виходить, що ви граєте обрану вами мелодію і вчіть порядок клавіш, які слід натискати.
Коли це додаток тільки з'явилося, то практично не мало конкурентів в Google Play. Але з роками ситуація істотно змінилася, і тепер треба було виділитися з натовпу. Замовник поставив перед нами завдання створити нову іконку програми, яка б допомогла збільшити кількість його завантажень.
Такий вигляд мала іконка програми на момент звернення до нас
Іконка очима замовника
Одну з ікон замовник просив зробити серйозної і класичної, тобто зобразити чорно-білі об'ємні клавіші фортепіано і падаючі на них нотки у вигляді прямокутників, як в грі.
Дві інші іконки він просив зробити більш динамічними і яскравими. Щоб швидше знайти спільну мову з дизайнером. ми попросили його надіслати візуальний приклад.
Візуальний приклад, який доклав замовник
Ще одним побажанням замовника було зобразити зірки, які присутні в самій грі.
Реалізація ідей
Минуло всього 3 дні, як замовник отримав 6 начерків іконок:
6 перших начерків іконок
Кращою замовник назвав іконку №5, потім 4, і третє місце він віддав начерку №1 не покладаючи на нього особливих надій.
Зелена смуга, яку дизайнер взяв з гри, замовникові не припала до смаку, і він просив зробити її якомога менше.
Ще кілька ремарок замовника і обрані ним начерки стали виглядати так:
Кращі начерки на думку замовника
А так після деяких ремарок вони стали виглядати перед початком першого А / В тесту:
3 варіанти іконок для проведення А / В тесту
"FREE": писати чи не писати?
Якщо ви звернули увагу на фінальному варіанті середньої іконки немає слова "FREE", на відміну від начерків. Замовник був переконаний, що необхідності включати цей елемент в дизайн немає, і попросив його прибрати. Пояснив це так: раніше було дві версії програми - платне і безкоштовне, але тепер залишилася тільки безкоштовна версія, тому немає ніякої потреби позначати її словом "FREE".
Але у нас виникло питання: чи не вплине відсутність цього напису на чистоту експерименту при проведенні А / В тесту? Були побоювання, що користувачі вирішать, що ці додатки платні, і найбільше завантажень буде у старій іконки програми з написом "FREE", яка сильно впадає в очі.
Ми запропонували замовнику прибрати напис зі старою іконки при проведенні А / В тесту або додати її до нових іконка заради справедливості.
Наша спроба відновити справедливість при проведенні експерименту
Замовник вважав цей фактор не істотним, тому в А / В тесті взяла участь тільки одна ікона з позначкою "FREE", - стара іконка програми.
Як думаєте, чи вплине це на кількість завантажень програми?
Відповідь на це питання ви дізнаєтеся далі.
Визначаємо кращу іконку з допомогою А / В тесту в Google Play
Результати першого А / В тесту в Google Play
Як бачите, найбільше завантажень додатка принесла іконка, на яку замовник покладав найменше надій.
З її допомогою за період тестування кількість завантажень додатка зросла до 27,1% в порівнянні зі старою версією іконки.
На другому місці опинилася стара іконка з написом "FREE". Тут вже замовник став сумніватися, чи могла ця напис вплинути на вибір користувачів.
Вибираємо кращий колірний варіант за допомогою другого А / В тесту в Google Play
Дизайнер вислав замовнику колірні варіанти іконок, які той вважав за краще. Крім двох нових начерків в зеленому і рожевому кольорі і іконки-переможця в попередньому тестуванні, було вирішено розмістити іконку в блакитному кольорі з написом "FREE". Тепер у нас з'явилася ще одна можливість перевірити чи існує магічний вплив цього напису на користувачів.
Отже, ось які варіанти були представлені для 2-ої А / В тесту:
Скріншоти іконок, відібраних для другого А / В тесту
А ось так виглядали результати другого А / В тесту:
Фіналістом стала ікона в зеленому колірному варіанті
Цікаві інсайти і висновки після тесту:
- Тести довели, що дизайн іконки і навіть її колір істотно впливають на кількість завантажень додатка.
- Іконка-переможець збільшила кількість завантажень додатка від 9,6% до 34% в порівнянні з колишньою іконкою програми.
- Найкраще на кількість завантажень вплинув той варіант, на який замовник покладав найменше надій.
- Якщо оцінювати граничні випадки, то різниця в конверсіях між тестованих іконками в 4 рази! Тобто якби замовник вибрав іконку на свій смак, він міг би отримати лише чверть органічних завантажень від тих, що могла б йому принести іконка-переможець.
- Зелений колір, який на початку робіт не припав до смаку замовнику, виявився найбільш успішним серед інших колірних рішень.
- В останньому тесті іконка з написом "FREE" показала найгірший результат. Так що можна зробити висновок, що цей елемент ніяким чином не підвищує кількість завантажень додатка, а може і навпаки.
Створену нами іконку для "Піано Майстер 2" ви до сих пір можете зустріти в Google Play. А якщо вам цікаво, наскільки точно ми передали ідею додатки, можете завантажити його за цим посиланням.
Додаток "Піано Майстер 2" в Google Play
Не варто покладатися на свій смак і інтуїцію, якщо ви вирішили створити іконку програми для Android. Краще замовити дизайн іконки з А / В тестом в Google Play. Це прекрасна можливість відразу визначити найбільш вигідний варіант дизайну іконки. за допомогою якого можна істотно вплинути на кількість завантажень додатка.
Шукаємо добровольця для написання кейса "Як з 500 $ зробити 5000 $ за допомогою дизайну іконки і А / В тесту в Google Play".
Ми хочемо написати більш просунутий кейс на ту ж тему і шукаємо учасника, з яким вийшло б домогтися видатних результатів.
В ідеалі хочемо зробити кейс: "Як з 500 $ зробити 5000 $ за допомогою дизайну іконки і А / В тесту в Google Play".
Ідея експерименту наступна:
* Для вже працюючого програми / гри ми робимо 2-3 варіанти головною іконки.
* Запускаємо АБ тест.
* Отримуємо приріст в скачках, а значить і продажах, вважаємо ефект, пишемо кейс.
По грошах витрат з вашого боку буде близько $ 150-700. У листуванні - детальніше.
За ці гроші ви отримуєте:
* Відповідь на питання, чи дійсно у вас оптимальна іконка
* Приріст в скачках від нової іконки (якщо все вийде)
* Безкоштовний PR свого продукту і кілька посилань від великих ЗМІ після того, як ми опублікуємо цей кейс.
Якщо вам цікаво, зв'яжіться з нами через форму на сайті або повідомленням facebook
Читайте також:
А як враховуються зовнішні сторонні чинники? Адже і без зміни іконок є денні коливання завантажень, діапазон яких може і задає показники спостерігається нами кривої, а іконки взагалі ні яку роль не грають істотну.
В даному випадку проводився АБ тест. Кілька варіантів іконки в плині часу тесту показуються відвідувачам сторінки Google Play маркету _в одне і те ж время_. Розподіл випадково. Відповідно, якщо і є якісь зовнішні чинники, які впливають на конверсію, вони вчить.
Вважається, що вплив зовнішніх факторів враховано, коли тест проводиться тривалий час і коли він дає «статистично достовірний результат».
Дякую за відповідь, а як створюється сам тест? У гугла є інструментарій, щоб розділити аудиторії і одним показувати А, іншим Б і потім порівняти статистику?