VoicePing株式会社のメンバー3名で、マイクロソフトで開催されるイベント「OpenHack for Lakehouse」に参加しました。この短期集中型ハッカソンは、開発者がスキルを磨き、最新のデータサイエンス連携技術に慣れることを目的に開催されました。
リモートコラボレーション用のバーチャルオフィスソフトウェア「VoicePing」を開発してるVoicePing株式会社のメンバー3名で、マイクロソフトで開催されるイベント「OpenHack for Lakehouse」に参加しました。この短期集中型ハッカソンは、開発者がスキルを磨き、最新のデータサイエンス連携技術に慣れることを目的に開催されました。
参加者は2日間にわたり、Azure Databricks環境を探索し、データの準備から機械学習モデルの作成、モニタリングに至るまで、さまざまなタスクを通してデータエンジニアリングについて学びました。
Azure Databricksとは
Azure Databricksは、ビッグデータの処理と分析のための協調的でスケーラブルな環境を提供する、クラウドベースのデータ分析プラットフォームです。Apache Sparkをベースに構築されており、ユーザーはSparkクラスターを管理し、データの取り込み、準備、機械学習タスクを実行することができます。
データ処理・分析フローには、メダリオンアーキテクチャを採用しています。生データ（ブロンズ）は汎用データ（シルバー）に加工され、そこから意思決定データ（ゴールド）が抽出され、洗練されます。
3つのモード
Azure Databricksには、DataScience＆Engineering、Machine Learning、SQLの3つのモードが用意されています：
- DataScience＆Engineeringモード: データサイエンティストやエンジニアがデータの準備、処理、分析を共同で行うためのワークスペースを提供
- Machine Learningモード: 機械学習モデルの構築、トレーニング、デプロイを行うためのモード
- SQLモード: Apache Sparkを使用してデータに対してSQLクエリを実行
OpenHack中には、上記のモード全てを使って、データの処理・加工から機械学習モデルのトレーニング・デプロイまで一貫して体験することができました。
参加者の声
相田 – Mobile / Web developer 私自身、Web系の開発経験しかない状態でしたが、全く新しい領域であるデータエンジニアリングを初めて深く学べた非常に価値あるイベントでした。実際のビジネスシナリオに基づく課題を通じて、Azure Databricksを活用したデータエンジニアリングや機械学習モデル作成の実践的なスキルを習得できることは、今後のビジネスやキャリアに大きな影響を与えたと思います。
次郎丸 – Web developer 普段はwebアプリケーションの領域でのタスクがメインですので、データサイエンス・エンジニアリングの知見が得られた今回のイベントは、技術面・ビジネス面の双方から見て非常に充実した内容でした。データは使える状態になければ意味がなく、使える状態にするためには具体的にどのようなことをすればいいのか知ることができました。
VoicePingの未来
VoicePingは将来を見据え、さらなるAI技術をビジネスに取り入れることを検討しています。今回のようなイベントに参加することで得られる知識や経験は、データを活用したAIの導入・開発において非常に重要です。
AI技術に限らずチームメンバーに投資し、学習とコラボレーションの文化を育むことで、VoicePingは革新的なリモートワークソリューションの追求を続けることができています。
