System Software team
建部修見教授
超大規模ビッグデータ解析,データインテンシブコンピューティング, ハイパフォーマンスコンピューティングのためのシステムソフトウェアの研究を行っています.
より大規模なデータを扱うためには,データ規模,コンピュータの計算速度に応じたスケーラブルなI/Oの 仕組みが必要になります. そのために,分散ファイルシステム,並列I/O,アプリケーションフレームワークなどスケールアウトする 並列分散システムソフトウェアの研究を行っています.
HPC用大規模PCクラスタ、筑波大学のスーパーコンピュータPegasus、Cygnus等を利用して研究を進めて います。
スーパーコンピュータでは、並列ファイルシステムの性能と演算性能のギャップを埋めるため、 計算ノードのローカルストレージを用いて一時的に並列ファイルシステムを構築する アドホックファイルシステムが有望視されています。
アドホックファイルシステムとして、CHFS、FINCHFS を開発しています。CHFS は I/O性能の世界ランキングIO500の 2023年6月の10ノード研究部門 において21位となりました。
アドホックファイルシステムはノードローカルストレージを用いた一時的な並列ファイルシステム ですが、並列ファイルシステムとの間のデータ移動を行う必要があります。このデータ移動を 自動的に行う仕組みとしてキャッシングファイルシステムがあります。
CHFS をキャッシングファイルシステムに対応させたシステムとして CHFS/Cache を開発しています。 従来のキャッシングファイルシステムでは、小さいファイルのアクセス性能が低い問題がありましたが、 CHFS/Cache では、並列ファイルシステムとの間の一貫性の条件を緩和することによりその問題解決を 図りました。
また、書換えたデータを並列ファイルシステムにフラッシュすると性能低下する問題もありましたが、 その問題については I/O-Aware フラッシング機構を提案することで解決を図りました。
アドホックファイルシステムなどはユーザレベルで実装されており、各種アプリケーションから利用 するためには工夫が必要となります。アプリケーションを無修正で利用することができるよう、 MPI-IO、HDF5、Apache Arrow、TensorStore などのライブラリを拡張して、それらのライブラリ を利用するアプリケーションは無修正で利用できるようにする取り組みを進めています。
アプリケーションのI/Oの性能をより改善するための様々な工夫をしています。
富岳の次の次期フラグシップマシンのストレージシステムの調査研究を進めています。以下はその中間報告です。
広域分散ファイルシステムとして Gfarmファイルシステム を 研究開発しています。 Gfarmファイルシステムは、インターネット経由で安全にアクセスが可能で、ストレージを広域に分散でき、 性能・容量がスケールアウトし、単一障害点がなく、データ完全性を保証し、サイレントデータ障害にも 対応可能なストレージシステムです。
GfarmはHPCI共用ストレージなどで実運用されています。HPCI共用ストレージは文部科学省がすすめる 富岳を中核とした国内のHPC基盤で利用される広域ストレージシステムで、全国のスーパーコンピュータ センターをはじめどこからでもマウントして利用可能なファイルシステムです。ファイルは自動的に 東拠点(柏)と西拠点(神戸)に複製され、障害が発生してもアクセス可能です。
日常生活
研究室の計算リソースと運用サービス
-
-
-
root
が取れます。 -
多くのroot権限を取れる実験用ノードがあり、カーネルの差し替えも出来るので多彩な研究が可能です。 root権限が不要であれば筑波大学のCygnus、Pegasusスーパーコンピューターも利用できますし、 教員と相談して他大学のスーパーコンピューターを利用することもあります。
チームの運用している共有ファイルシステム、DNSなどの運用はチーム内の有志が修士学生を中心に行っています。 研究室全体のWebサービスやDNS運用はadmin係の担当となっています。 どちらも全員の義務ではないので研究に集中して成果を出すのも、研究をしつつ運用経験を積むのも自由です。
メンバー
建部 修見 教授
- 分散ファイルシステム
- 並列システムソフトウェア
システムソフトウェアに興味がある人, 大きいことをやってみたい人は是非どうぞ. 好きなことをやってください.
平賀 弘平 研究員
分散メタデータサーバ、MPI-IO分散システムやシステムソフトウェアに興味のある方はぜひ一緒に研究しましょう。 不揮発性メモリを使ってみたい方もどうぞ!
前田 宗則 主任研究員
産学連携プロジェクトで富士通株式会社から来ました研究員です. 高速な分散データストアの重要性は増しています. この研究室で一緒にやりましょう.
中谷 裕一 D3
負荷が均等となるコンシステントハッシングの研究をしています
小山 創平 D1
アドホックファイルシステムを開発しています。一緒にIO500上位を目指しましょう
杉原 航平 D1
- ノードローカルバーストバッファ
研究室の人数よりも計算機の方が多い研究室です。クラスタやスーパーコンピューターを使って研究してみたい人はぜひ!
兪明哲 D1
分散学習の耐障害性についての研究を考えています
丸山 泰史 M2
研究テーマを選ぶ自由を与えてくれる研究室です。やりたいことをやりましょう。
中野 将生 M1
- 非同期ランタイム
先読みとバッファリングを非同期的に扱うことでsmall fileへのリクエストの高層化を考えています。
小浦方 基 B4
コンピューターって楽しくて
宮内 遥楓 B4
前田 椋祐 B4
分散システム・システムプログラムに興味があります。
近年の成果
- S. Koyama, K. Hiraga and O.Tatebe, “Fast checkpointing of Large Language Models with TensorStore CHFS,” Supercomputing Conference (SC) 23, Poster, Nov. 2023.
- O. Tatebe, K. Hiraga and H. Ohtsuji, "I/O-Aware Flushing for HPC Caching Filesystem," in 2023 IEEE International Conference on Cluster Computing Workshops (CLUSTER Workshops), Santa Fe, NM, USA, 2023 pp. 11-17.
- . Koyama, K. Hiraga and O. Tatebe, "Accelerating I/O in Distributed Data Processing Systems with Apache Arrow CHFS," in 2023 IEEE International Conference on Cluster Computing Workshops (CLUSTER Workshops), Santa Fe, NM, USA, 2023 pp. 1-4.
- Taisuke Boku, Norihisa Fujita, Ryohei Kobayashi, and Osamu Tatebe. 2023. Cygnus - World First Multihybrid Accelerated Cluster with GPU and FPGA Coupling. In Workshop Proceedings of the 51st International Conference on Parallel Processing (ICPP Workshops '22). Association for Computing Machinery, New York, NY, USA, Article 8, 1–8. https://doi.org/10.1145/3547276.3548629
- S. Koyama and O. Tatebe, "Scalable Data Parallel Distributed Training for Graph Neural Networks," 2022 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW), Lyon, France, 2022, pp. 699-707, doi: 10.1109/IPDPSW55747.2022.00121.
- O. Tatebe and H. Ohtsuji, "Caching Support for CHFS Node-local Persistent Memory File System," 2022 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW), Lyon, France, 2022, pp. 1103-1110, doi: 10.1109/IPDPSW55747.2022.00182.
- Osamu Tatebe, Kazuki Obata, Kohei Hiraga, and Hiroki Ohtsuji. 2022. CHFS: Parallel Consistent Hashing File System for Node-local Persistent Memory. In International Conference on High Performance Computing in Asia-Pacific Region (HPCAsia '22). Association for Computing Machinery, New York, NY, USA, 115–124. https://doi.org/10.1145/3492805.3492807
- 建部 修見, 平賀 弘平, 前田 宗則, 藤田 典久, 小林 諒平, 額田 彰: “Pegasusビッグメモリスーパコンピュータの性能評価,” 情報処理学会 第190回HPC研究発表会(SWoPP2023), Aug 2023.
- 小山 創平, 平賀 弘平, 建部 修見: “Apache Arrow CHFSによるビッグデータ処理のI/O高速化,” 情報処理学会 第190回 HPC 研究会報告 (HPC190),
- 笠井 大暉, 建部 修見: ”分散キャッシュファイルシステムの設計と実装,” 情報処理学会第186回HPC研究報告会, 2022-HPC-186, Jul 2022.
- 平賀 弘平, 建部 修見: ”MPI-IO/CHFS:ノードローカル不揮発性メモリを活用するアドホック分散ファイルシステムのためのMPI-IOの設計,” 情報処理学会第185回HPC研究報告会, Vol. 2022-HPC-185, Jul 2022.
- 建部 修見: ”CHFSアドホック並列分散ファイルシステムのアクセス性能の評価,” 研究報告ハイパフォーマンスコンピューティング(HPC), Vol. 2022-HPC-185, No. 31, Jul 2022.
- 巨畠 和樹, 小山 創平, 平賀 弘平, 建部 修見: ”HPC環境を想定した探索的データ解析におけるノードローカルストレージの利用の検討,” 情報処理学会第185回HPC研究報告会, Vol. 2022-HPC-185, No. 19, Jul 2022.
- 巨畠 和樹, 建部 修見: ”不揮発性メモリを用いた分散オブジェクトストレージの設計,” 情報処理学会第184回HPC研究報告会, Vol. 2022-HPC-184, No. 3, May 2022.
- 平賀 弘平, 建部 修見: "計算ノード上の不揮発性メモリを用いたMPI-IOバーストバッファの設計,” 情報処理学会第183回HPC研究報告会, Vol. 2022-HPC0183, No. 24, May 2022.
- 建部 修見: "計算ノードの不揮発性メモリを用いたキャッシュファイルシステムの設計,” 情報処理学会第183回HPC研究報告会, Vol. 2022-HPC-183, No. 8, May 2022.