アーキテクチャー を検索しています
アーキテクチャーとは、英語でarchitectureという単語からきた言葉で、建築学や建築様式、建物、構造、構成などを表すものです。
元々は建築分野で使われていた言葉ですが、IT業界ではソフトウェアやシステム、コンピュータなどの設計思想や仕様、構成方法などを指すことが多くなりました。
レットネットとビットネット
Retentive Networks" (RetNet) は、言語モデリングにおいて、トランスフォーマーアーキテクチャの代替としてMicrosoftの研究者によって紹介されました。RetNetは、訓練の並列性をサポートし、推論効率の面で顕著な進歩を達成しています。これにより、強力なパフォーマンスを維持しながら、言語モデルの効率を向上させることができます [❞]。一方、"BitNet" は、大規模言語モデル用に設計されたスケーラブルで安定した1ビットトランスフォーマーアーキテクチャです。
BitNetは、従来のnn.Linear層の代わりにBitLinearという技術を導入して、1ビットの重みをゼロから訓練します。BitNetは、言語モデリングにおいて競争力のあるパフォーマンスを示し、従来の8ビット量子化手法やFP16トランスフォーマーベースラインと比較して、メモリ使用量とエネルギー消費を大幅に削減することが実験結果で示されています。また、BitNetはフルプレシジョントランスフォーマーに似たスケーリング法則を示し、効率とパフォーマンスの利点を維持しながら、さらに大規模な言語モデルへのスケーリングが可能であることが示唆されています [❞] [❞]。
ちょっとしかわからんけど、パフォーマンスを維持しながら。省電力とメモリーの節約が可能になった？ってことかな
COdiって？
Composable Diffusion (CoDi)は、Microsoftによって開発された新しい多様なモーダルを持つ生成モデルです。CoDiは、テキスト、画像、ビデオ、オーディオなど、任意の組み合わせの入力モーダリティから、任意の組み合わせの出力モーダリティを生成する能力を持っています。このモデルは、異なるモーダリティ間の整合性を保ちながら、同時に複数のモーダリティを生成することができるため、人間とコンピューターの相互作用の方法を変革する可能性があります。例えば、テキスト、画像、オーディオの入力から、ビデオとオーディオを同時に生成することが可能です [❞]。
どうやらだり3とCanvaを足したような生成ＡＩを開発中みたい、、、便利そうだ、使ってみたい
AutoGenって何？
AutoGenは、Microsoftが開発したオープンソースのフレームワークです。このフレームワークは、大規模言語モデル（LLM）のワークフローを単純化し、最適化し、自動化することを目的としています。これにより、LLMベースのアプリケーションの作成が容易になります。AutoGenは、モデル使用方法の進展を促すために導入され、AI技術の開発と応用における新しい可能性を開きます [❞]。詳細は、Microsoft Researchのウェブサイトで確認できます。
アプリ開発が楽になる？でいいのかな
専門用語とか、単語とか難しい
うむ、便利そう、使ってみたいでいいですね
でも面白いから、たまにこれ追加しよう
