Bukti dalam Angka: Menggunakan Big Data untuk Mendorong Hasil

Pada titik tertentu dalam karir Anda sebagai manajer produk, Anda mungkin menghadapi masalah skala besar yang kurang jelas, melibatkan penyebab dan area dampak yang lebih luas, dan memiliki lebih dari satu solusi. Saat Anda bekerja dengan kumpulan data yang kompleks—saat Anda mulai memikirkan angka dalam jutaan, bukan ribuan—Anda memerlukan alat yang tepat untuk memungkinkan Anda meningkatkan skala dengan kecepatan yang sama.

Di sinilah manajemen produk berbasis data dapat menghasilkan nilai bisnis yang luar biasa. Dalam contoh berikut, diambil dari kasus dalam karir saya sendiri, menerapkan analisis data untuk masalah yang tampaknya sulit dipecahkan menghasilkan solusi yang membawa keuntungan besar bagi majikan saya—mulai dari jutaan dolar hingga ratusan juta.

Memperoleh keterampilan ilmu data dapat membantu menempa jalur pertumbuhan berikutnya dalam karir manajemen produk Anda. Anda akan memecahkan masalah lebih cepat daripada rekan kerja Anda, mengubah wawasan berbasis bukti menjadi pengembalian yang sulit, dan memberikan kontribusi besar bagi kesuksesan organisasi Anda.

Manfaatkan Data Skala Besar

Menerapkan ilmu data dalam manajemen produk dan analisis produk bukanlah konsep baru. Apa yang baru adalah jumlah data yang luar biasa yang dapat diakses oleh bisnis, baik melalui platform mereka, perangkat lunak pengumpulan data, atau produk itu sendiri. Namun pada tahun 2020, Seagate Technology melaporkan bahwa 68% data yang dikumpulkan oleh perusahaan tidak dimanfaatkan. Buku putih IBM tahun 2014 membandingkan pemborosan data ini dengan “pabrik di mana sejumlah besar bahan mentah tidak terpakai dan berserakan di berbagai titik di sepanjang jalur perakitan.”

Manajer produk dengan keterampilan ilmu data dapat memanfaatkan data ini untuk mendapatkan wawasan tentang metrik utama seperti aktivasi, jangkauan, retensi, keterlibatan, dan monetisasi. Metrik ini dapat diarahkan ke berbagai jenis produk, seperti e-niaga, konten, API, produk SaaS, dan aplikasi seluler.

Singkatnya, ilmu data kurang tentang data apa yang Anda kumpulkan dan lebih banyak tentang bagaimana dan kapan Anda menggunakannya, terutama saat Anda bekerja dengan nomor baru dan orde yang lebih tinggi.

Gali Data untuk Menemukan Akar Penyebab

Beberapa tahun yang lalu, saya bekerja di penyedia teknologi perjalanan dengan lebih dari 50.000 klien aktif di 180 negara, 3.700 karyawan, dan pendapatan tahunan $2,5 miliar. Di perusahaan sebesar ini, Anda mengelola tim besar dan informasi dalam jumlah besar.

Ketika saya mulai bekerja di sana, saya dihadapkan dengan masalah berikut: Meskipun memiliki peta jalan terbaru dan backlog penuh, skor NPS turun dan churn pelanggan meningkat selama dua tahun. Biaya yang terkait dengan dukungan pelanggan tumbuh secara signifikan dan departemen dukungan terus-menerus melakukan pemadaman kebakaran; selama dua tahun itu, panggilan dukungan meningkat empat kali lipat.

Dalam tiga bulan pertama saya, saya mempelajari cara kerja bisnis, mulai dari negosiasi pasokan hingga penyelesaian keluhan. Saya melakukan wawancara dengan wakil presiden produk dan timnya, terhubung dengan VP dari tim penjualan dan teknologi, dan berbicara secara ekstensif dengan departemen dukungan pelanggan. Upaya ini menghasilkan wawasan yang berguna dan memungkinkan tim saya untuk mengembangkan beberapa hipotesis—tetapi tidak memberikan data yang kuat untuk mendukungnya atau menetapkan alasan untuk menolaknya. Penjelasan yang mungkin untuk ketidakpuasan pelanggan termasuk kurangnya fitur, seperti kemampuan untuk mengedit pesanan setelah dipesan; kebutuhan akan produk tambahan; dan bantuan teknis dan/atau informasi produk yang tidak memadai. Tetapi bahkan jika kita dapat memutuskan satu tindakan, membujuk berbagai departemen untuk mengikutinya akan membutuhkan sesuatu yang lebih tegas daripada kemungkinan.

Di perusahaan yang lebih kecil, saya mungkin sudah mulai dengan melakukan wawancara pelanggan. Tetapi dengan basis pengguna akhir dalam ratusan ribu, pendekatan ini tidak membantu dan tidak layak. Meskipun itu akan memberi saya lautan opini—beberapa valid—saya perlu tahu bahwa informasi yang saya kerjakan mewakili tren yang lebih besar. Sebaliknya, dengan dukungan tim intelijen bisnis, saya menarik semua data yang tersedia dari pusat panggilan dan departemen dukungan pelanggan.

Kasus dukungan dari enam bulan sebelumnya datang kepada saya dalam empat kolom, masing-masing dengan 130.000 baris. Setiap baris mewakili permintaan dukungan pelanggan, dan setiap kolom diberi label dengan area masalah pelanggan saat mereka maju melalui proses perawatan. Setiap kolom memiliki antara 11 dan 471 label yang berbeda.

Menerapkan filter dan menyortir kumpulan data besar tidak menghasilkan hasil yang konklusif. Label masalah individu tidak memadai dalam menangkap gambaran yang lebih besar. Pelanggan mungkin menelepon pada awalnya untuk mengatur ulang kata sandi mereka, dan sementara panggilan itu akan dicatat seperti itu, masalah akar yang berbeda mungkin menjadi jelas setelah keempat masalah dianggap sebagai string. Dalam 130.000 baris dengan jutaan kemungkinan string, mencari pola dengan meninjau setiap baris satu per satu bukanlah pilihan. Menjadi jelas bahwa mengidentifikasi masalah pada skala ini kurang tentang memberikan wawasan bisnis dan lebih sebanding dengan memecahkan masalah matematika.

Untuk mengisolasi string yang paling sering muncul, saya menggunakan sampling probability proportional to size (PPS). Metode ini menetapkan probabilitas pemilihan untuk setiap elemen menjadi proporsional dengan ukuran ukurannya. Meskipun matematikanya rumit, dalam istilah praktis, apa yang kami lakukan sederhana: Kami mengambil sampel kasus berdasarkan frekuensi setiap label di setiap kolom. Suatu bentuk pengambilan sampel multitahap, metode ini memungkinkan kami untuk mengidentifikasi rangkaian masalah yang melukiskan gambaran yang lebih jelas tentang mengapa pelanggan menelepon pusat dukungan. Pertama, model kami mengidentifikasi label paling umum dari kolom pertama, kemudian, dalam grup itu, label paling umum dari kolom kedua, dan seterusnya.

Setelah menerapkan pengambilan sampel PPS, kami mengisolasi 2% dari akar penyebab, yang menyumbang sekitar 25% dari total kasus. Ini memungkinkan kami untuk menerapkan algoritme probabilitas kumulatif, yang mengungkapkan bahwa lebih dari 50% kasus berasal dari 10% akar penyebab.

Kesimpulan ini mengkonfirmasi salah satu hipotesis kami: Pelanggan menghubungi pusat panggilan karena mereka tidak memiliki cara untuk mengubah data pesanan setelah pesanan dilakukan. Dengan memperbaiki satu masalah, klien dapat menghemat $7 juta dalam biaya dukungan dan memulihkan $200 juta pendapatan yang dikaitkan dengan churn pelanggan.

Lakukan Analisis secara Real Time

Pengetahuan tentang pembelajaran mesin sangat berguna dalam memecahkan tantangan analisis data di perusahaan perjalanan lain dengan ukuran yang sama. Perusahaan ini berfungsi sebagai penghubung antara hotel dan agen perjalanan di seluruh dunia melalui situs web dan API. Karena proliferasi mesin metasearch, seperti Trivago, Kayak, dan Skyscanner, lalu lintas API tumbuh tiga kali lipat. Sebelum proliferasi metasearch, rasio look-to-book (total pencarian API terhadap total pemesanan API) adalah 30:1; setelah metasearch dimulai, beberapa klien akan mencapai rasio 30.000:1. Selama jam sibuk, perusahaan harus mengakomodasi hingga 15.000 permintaan API per detik tanpa mengorbankan kecepatan pemrosesan. Biaya server yang terkait dengan API tumbuh sesuai. Namun peningkatan lalu lintas dari layanan ini tidak menghasilkan peningkatan penjualan; pendapatan tetap konstan, menciptakan kerugian finansial yang besar bagi perusahaan.

Perusahaan membutuhkan rencana untuk mengurangi biaya server yang disebabkan oleh lonjakan lalu lintas, sambil mempertahankan pengalaman pelanggan. Ketika perusahaan berusaha untuk memblokir lalu lintas untuk pelanggan tertentu di masa lalu, hasilnya adalah PR negatif. Oleh karena itu, memblokir mesin ini bukanlah pilihan. Tim saya beralih ke data untuk menemukan solusi.

Kami menganalisis sekitar 300 juta permintaan API dalam serangkaian parameter: waktu permintaan, tujuan, tanggal check-in/out, daftar hotel, jumlah tamu, dan jenis kamar. Dari data, kami menentukan bahwa pola tertentu dikaitkan dengan lonjakan lalu lintas metasearch: waktu, jumlah permintaan per unit waktu, pencarian alfabet di tujuan, daftar yang dipesan untuk hotel, jendela pencarian tertentu (tanggal check-in/out), dan konfigurasi tamu.

Kami menerapkan pendekatan pembelajaran mesin yang diawasi dan membuat algoritme yang mirip dengan regresi logistik: Ini menghitung probabilitas untuk setiap permintaan berdasarkan tag yang dikirim oleh klien, termasuk cap waktu delta, cap waktu, tujuan, hotel, tanggal check-in/out, dan jumlah tamu, serta tag permintaan sebelumnya. Bergantung pada parameter yang diberikan, algoritme akan mengidentifikasi kemungkinan bahwa permintaan server API dihasilkan oleh manusia atau oleh mesin metasearch. Algoritme akan berjalan secara real time saat klien mengakses API. Jika itu menentukan kemungkinan yang cukup tinggi bahwa permintaan itu digerakkan oleh manusia, permintaan itu akan dikirim ke server berkecepatan tinggi. Jika tampaknya merupakan metasearch, permintaan akan dialihkan ke server caching yang lebih murah untuk dioperasikan. Penggunaan pembelajaran yang diawasi memungkinkan kami untuk mengajarkan model, yang mengarah ke akurasi yang lebih besar selama pengembangan.

Model ini memberikan fleksibilitas karena probabilitas dapat disesuaikan per klien berdasarkan aturan bisnis yang lebih spesifik daripada yang telah kami gunakan sebelumnya (misalnya, perkiraan pemesanan per hari atau tingkat klien). Untuk klien tertentu, permintaan dapat diarahkan pada titik mana pun di atas probabilitas 50%, sedangkan untuk klien yang lebih berharga, kami dapat meminta kepastian lebih, mengarahkan mereka ketika mereka melewati ambang batas probabilitas 70%.

Setelah menerapkan algoritme klasifikasi, perusahaan mengalihkan hingga 70% permintaan dalam jangka waktu tertentu ke tumpukan yang lebih murah dan menghemat biaya infrastruktur sekitar $5 juta hingga $7 juta per tahun. Pada saat yang sama, perusahaan memuaskan basis klien dengan tidak menolak lalu lintas. Ini mempertahankan rasio pemesanan sambil menjaga pendapatan.

Gunakan Alat yang Tepat untuk Pekerjaan itu

Studi kasus ini menunjukkan nilai menggunakan ilmu data untuk memecahkan masalah produk yang kompleks. Tapi di mana perjalanan ilmu data Anda harus dimulai? Kemungkinannya, Anda sudah memiliki pemahaman dasar tentang bidang pengetahuan yang luas. Ilmu data adalah kegiatan interdisipliner; itu mencakup pemikiran yang sangat teknis dan konseptual. Ini adalah perkawinan jumlah besar dan ide-ide besar. Untuk memulai, Anda harus meningkatkan keterampilan Anda dalam:

Pemrograman. Bahasa query terstruktur, atau SQL, adalah bahasa pemrograman standar untuk mengelola database. Python adalah bahasa standar untuk analisis statistik. Sementara keduanya memiliki fungsi yang tumpang tindih, dalam arti yang sangat mendasar, SQL digunakan untuk mengambil dan memformat data, sedangkan Python digunakan untuk menjalankan analisis untuk mencari tahu apa yang dapat dikatakan data kepada Anda. Excel, meskipun tidak sekuat SQL dan Python, dapat membantu Anda mencapai banyak tujuan yang sama; Anda mungkin akan sering dipanggil untuk menggunakannya.

Operasi pencarian. Setelah Anda mendapatkan hasil Anda, lalu apa? Semua informasi di dunia tidak ada gunanya jika Anda tidak tahu apa yang harus dilakukan dengannya. Riset operasi adalah bidang matematika yang ditujukan untuk menerapkan metode analitis pada strategi bisnis. Mengetahui cara menggunakan riset operasi akan membantu Anda membuat keputusan bisnis yang baik yang didukung oleh data.

Pembelajaran mesin. Dengan meningkatnya AI, kemajuan dalam pembelajaran mesin telah menciptakan kemungkinan baru untuk analitik prediktif. Penggunaan bisnis analitik prediktif meningkat dari 23% pada 2018 menjadi 59% pada 2020, dan pasar diperkirakan akan mengalami pertumbuhan tahunan gabungan 24,5% hingga 2026. Sekarang saatnya bagi manajer produk untuk mempelajari apa yang mungkin dilakukan dengan teknologi.

Visualisasi data. Tidaklah cukup untuk memahami analisis Anda; Anda memerlukan alat seperti Tableau, Microsoft Power BI, dan Qlik Sense untuk menyampaikan hasil dalam format yang mudah dipahami oleh pemangku kepentingan non-teknis.

Lebih baik untuk memperoleh keterampilan ini sendiri, tetapi minimal Anda harus memiliki keakraban yang dibutuhkan untuk mempekerjakan ahli dan mendelegasikan tugas. Manajer produk yang baik harus mengetahui jenis analisis yang memungkinkan dan pertanyaan yang dapat mereka bantu jawab. Mereka harus memiliki pemahaman tentang bagaimana mengkomunikasikan pertanyaan kepada ilmuwan data dan bagaimana analisis dilakukan, dan mampu mengubah hasilnya menjadi solusi bisnis.

Gunakan Kekuatan untuk Mengembalikan Pengembalian

Survei Eksekutif Data dan AI Leadership NewVantage Partners 2022 mengungkapkan bahwa lebih dari 90% organisasi yang berpartisipasi berinvestasi dalam AI dan inisiatif data. Pendapatan yang dihasilkan dari big data dan analitik bisnis meningkat lebih dari dua kali lipat sejak 2015. Analisis data, yang dulunya merupakan keahlian khusus, kini penting untuk memberikan jawaban yang tepat bagi perusahaan di mana pun.

Seorang manajer produk dipekerjakan untuk mendorong pengembalian, menentukan strategi, dan mendapatkan pekerjaan terbaik dari rekan kerja. Keaslian, empati, dan keterampilan lunak lainnya berguna dalam hal ini, tetapi itu hanya setengah dari persamaan. Untuk menjadi pemimpin dalam organisasi Anda, bawa fakta ke meja, bukan opini. Alat untuk mengembangkan wawasan berbasis bukti tidak pernah lebih kuat, dan potensi pengembalian tidak pernah lebih besar.