Reduce cost and Monetize Video Streaming with AI/ML


Video streaming is predicted to account for a staggering 82 percent of the total internet traffic by 2022. From basic android mobile to 4K premium tv – viewers are watching content on devices with varied resolutions, compute & capability. The massive amount of data streaming presents challenges to broadcasters, content distribution networks, such as buffering issues, low resolution, poor quality, high operating cost, monetization, etc. AI/ML helps to overcome these challenges by providing the highest possible quality of experience (QoE) and quality of service (QoS). AI/ML models can enable broadcasters and content providers to unearth opportunities to reduce streaming costs, enhance the viewer quality of experience, and improve viewer engagement using smart advertisement & video analytics by using AI/ML models throughout the media workflow. This blog discusses the use of different AI/ML models in video streaming to enhance QoE and QoS.

diagram showing the features of video streaming optimization using AI


AI/ML in Streaming

Streaming Cost Optimization

YouTube and Netflix employ machine learning to optimize the encoding parameters dynamically. This not only increases user QoE and QoS but also reduces the number of bits required for the required quality. Encoding optimization using machine learning can also help optimize costs in the form of less bandwidth usage, storage costs, etc. Neural networks (NN) dynamically predict the video encode quantization levels (QL) that can produce target bitrate and achieve the performance of dual-pass encoding in a single pass. As a result, it will also reduce overall video latency and encoding costs.

Funnel Art shows storage, transcoding, delivery leads to optimize cost for video streaming monetization


Streaming cost optimization

An ML Engine can take in parameters for computing, network, storage costs, and user parameters (screen size, etc.), and provides optimal transcoding parameters. These optimal settings will help to reduce CDN operating costs.

Dynamic Advertisements

The place for AI in video advertisements lies in its potential for delivering dynamic ads based on the geography, language, demographics, content being played, and the viewer’s interests. Video content producers can structure the creation of their videos in such a way that specific locations can be placeholders for advertisements. The AI technology can dynamically place advertisements into these placeholders based on a range of factors. The use of AI ensures that content producers are no longer limited to the manual tags (metadata) provided. It can dynamically place advertisements with an even more personalized and localized approach. It also helps in ad breaks and avoids abrupt placement of ads between the scenes by locating a suitable spot.

Automatic Video Synthesis for Smart Advertisement

Style transfer of one image to another image is well understood in the AI space. Also, the same can extend to videos. In addition, Synthetic data can be created and embedded along with the broadcast content seamlessly by AI engines. The synthesized video can for example generate custom textures, messages, logos, with an active scene without disrupting the flow. A new advertisement can replace the existing banner ad within the scene without any human involvement (Of course, this is doable where the content owner has rights to modify). Certainly, this can enable different in-scene ads for different regions.


Video streaming synthesis

Compliance to Regulatory Warnings

Compliance often requires the content provider to identify events/scenes in a video that may be restricted in specific territories. The restriction can be to remove the scene or to add statutory warnings. AI engines identify such scenes and present “time-in” and “time-out” points to an editing system to perform edits. For example, the appearance of alcohol or tobacco in the UAE—or a show that uses a denigrating ethnic term in India—is a serious violation in those and other countries. Moreover, AI can quickly flag objectionable content and helps comply with regulatory requirements and prevent snafus. The commercial compliance requirements (logo colors/dimensions) take quite a lot of manual checks and clean up. AI/ML engines can perform these tasks very effectively. All social media platforms are trying to employ AI to remove and prevent harmful content before it goes live on their platforms. Moreover, Image analysis techniques such as image classification and object detection are in use to categorize and detect specific images. Certainly Image segmentation puts those images into context, which is applicable to broadcast content as well to some degree.


We are just at the beginning of the applications of AI to video streaming. Identifying objects, recognizing faces, inserting customized advertisements, complying with regulatory warnings, generating subtitles at high speeds, transmitting the video intelligently at low bandwidth and lower costs are a few of the tasks that can be managed by AI engines very effectively. AI and deep neural network-based enhancements will dramatically improve user QoE and alter video consumption forever. AI solutions will soon become a widespread standard and will continue to redefine the streaming media ecosystem with emerging innovations.


ビデオストリーミングは、2022年までにインターネットトラフィック全体の驚異的にも、82%を占めると予測されています。Androidモバイル端末から4Kプレミアムテレビまで、視聴者はさまざまな解像度、コンピューティング機能を備えたデバイスでコンテンツを視聴しています。 大量のデータストリーミングは、バッファリングの問題、低解像度、低品質、高運用コスト、収益化など、放送局、コンテンツ配信ネットワークに課題をもたらします。AI/ MLは、可能な限り最高の体験品質 (QoE)とサービス品質(QoS)を提供することにより、このような課題を克服するのに役立ちます。 ML/AIモデルにより、放送局とコンテンツプロバイダーは、ストリーミングコストを削減し、視聴者の体験品質を向上させる機会を見つけ、 メディアワークフロー全体でAI / MLモデルを使用した、スマート広告とビデオ分析を使用して視聴者のエンゲージメントを向上させることができます。 このブログでは、QoEとQoSを強化するためのビデオストリーミングにおけるさまざまなAI / MLモデルの使用について説明しています。

diagram showing the features of video streaming optimization using AI


AI/ML in Streaming


YouTubeとNetflixは、機械学習を使用してエンコードパラメータを動的に最適化します。 これにより、ユーザーのQoEとQoSが向上するだけでなく、必要な品質に必要なビット数も削減されます。 機械学習を使用したエンコーディングの最適化は、帯域幅の使用量やストレージコストなどを削減するという形でコストを最適化するのにも役立ちます。 ニューラルネットワーク(NN)は、ターゲットビットレートを生成し、シングルパスでデュアルパスエンコーディングの性能を実現できるビデオエンコード量子化レベル(QL)を動的に予測します。 その結果、全体的なビデオ遅延とエンコードコストも削減されます。

Funnel Art shows storage, transcoding, delivery leads to optimize cost for video streaming monetization


Streaming cost optimization

ML(機械学習)エンジンは、コンピューティング、ネットワーク、ストレージコスト、およびユーザーパラメーター(画面サイズなど)のパラメーターを取り込み、最適なトランスコーディングパラメーターを提供します。 これらの最適な設定は、CDN運用コストの削減に役立ちます。


ビデオ広告におけるAIのポジションは、地理、言語、人口統計、再生コンテンツ、および視聴者の興味に基づく動的な広告を配信できる可能性にあります。 ビデオ コンテンツ プロデューサーは、特定の場所が広告のプレースホルダーになるように、ビデオの作成を構成できます。 AI技術は、さまざまな要因に基づいて、これらのプレースホルダーに広告を動的に配置することができます。 AIを使用すると、コンテンツプロデューサが提供された手動タグ(メタデータ)に制限されなくなります。 さらにパーソナライズされたローカライズされたアプローチで動的に広告を配置できます。 また、適切な場所を見つけることで、広告の中断を助け、シーン間の広告の突然の配置を回避します。


ある画像から別の画像へのスタイル転送は、AI空間でよく理解されています。 また、同じことがビデオにも当てはまります。 さらに、合成データは、AIエンジンによってシームレスに作成され、放送コンテンツとともに埋め込まれます。 合成ビデオは、たとえば、フローを中断することなく、アクティブなシーンでカスタムテクスチャ、メッセージ、ロゴを生成できます。 新しい広告は、人間の関与なしでシーン内の既存のバナー広告を置き換えることができます(もちろん、これはコンテンツ所有者が変更する権利を有している場合のみ実行可能です)。 確かに、これにより、地域ごとに異なるシーン内の広告を有効にすることができます。


Video streaming synthesis


コンプライアンス上、コンテンツプロバイダーが、特定地域で制限されている可能性のあるビデオ内のイベント/シーンを特定する必要がある場合がよくあります。 この制限は、シーンを削除する、または法定の警告を追加すること等です。 AIエンジンはそのようなシーンを識別し、「タイムアウト」ポイントと「タイムアウト」ポイントを編集システムに提示して編集を実行します。 たとえば、アラブ首長国連邦でのアルコールやタバコの登場、またはインドでの軽蔑的な民族用語を使用したショーは、これらの国や他の国では重大な違反となります。 さらに、AIは好ましくないコンテンツにすばやくフラグを立てることができ、規制要件への準拠と障害の防止に役立ちます。 商用コンプライアンス要件(ロゴの色/寸法)は、かなり多くの手動チェックとクリーンアップを必要とします。ML/AIエンジンはこれらのタスクを非常に効果的に実行できます。 すべてのソーシャル メディアプラットフォームは、AIを使用して、有害なコンテンツをプラットフォームで公開する前に削除および防止しようとしています。 さらに、画像分類や物体検出などの画像分析技術を使用して、特定の画像を分類および検出します。 確かに、画像セグメンテーションはそれらの画像をコンテキストに入れます。これは放送コンテンツにもある程度適用できます。


私たちは、AIのビデオストリーミングへの応用を始めたばかりです。 オブジェクトの識別、顔の認識、カスタマイズされた広告の挿入、規制警告への準拠、高速での字幕の生成、低帯域幅と低コストでのインテリジェントなビデオの送信は、AIエンジンで非常に効果的に管理できるタスクの一部です。 AIとディープニューラルネットワークベースの拡張機能により、ユーザーのQoEが劇的に向上し、ビデオの消費量が永久に変化します。 AIソリューションはまもなく広く普及する標準となり、ストリーミングメディアエコシステムを新たなイノベーションで再定義し続けます。

Leave a Reply

Your email address will not be published. Required fields are marked *

World-class articles, delivered weekly.

You have successfully subscribed to the newsletter

There was an error while trying to send your request. Please try again.

Gyrus Blog will use the information you provide on this form to be in touch with you and to provide updates and marketing.