2006 年度情報理論シラバス

【 2006 年度授業概要】
学習・教育目標			工学系複合プログラム	ＪＡＢＥＥ基準１（１）
科　　　目			情報理論 ( Information Theory )
担当教員			秋吉一郎
対象学年等			電子工学科・5年・通年・必修・2単位 ( 学修単位I )
学習・教育目標			A3(100%)	(c),(d)1
授業の概要と方針			情報理論は情報通信に関わる重要な基礎理論であり，その理解には難しい数学の理論についての知識が要求される。本授業では，理論部分を分かりやすく解説することに努め，学生が情報理論の本質を理解できることを目標とする。
到達目標		1	【A3】　予備知識としてのコンピュータやインターネットのしくみを理解できる。
		2	【A3】　予備知識としての情報理論に関係する確率について理解できる.
		3	【A3】　情報，情報源，通信モデルを理解した上で，情報の大きさを計算できる。
		4	【A3】　符号化の意義を理解した上で，基本的な符号化の方法とその効果を評価できる。
		5	【A3】　データ圧縮，誤り訂正などの情報通信の効率と信頼性を実現するための技術を通じて，インターネットをはじめとする実社会における情報理論の意義を理解できる。
		6
		7
		8
		9
		10
評価方法と基準	到達目標毎	1	コンピュータ，及びTCP/IPプロトコル，Unixオペレーティングシステム，LANなどのインターネットにおける情報通信の基盤技術についてが理解できているか，演習等で評価する。
		2	簡単な通信路モデルに対して，条件付確率とベイズの定理などを適用して確率の計算ができるか，中間試験等で評価する。
		3	1つの情報が持つ情報量，及び情報源が持つ情報量であるエントロピー（平均情報量）の意味と計算方法が理解できているか，定期試験等で評価する。
		4	情報源符号化の意味を理解した上で，与えられた情報源に対して具体的な符号化を行って符号の効率を評価できるか，中間試験と演習等で評価する。
		5	通信路符号化の意味を理解した上で，通信の信頼性を向上させるための方法について理解できているか，定期試験等で評価する.
		6
		7
		8
		9
		10
	総合評価		成績は，試験85%　演習15%　として評価する．
テキスト			プリント
参考書			「情報理論」：三木成彦，吉川英機著（コロナ社）
関連科目			情報基礎
履修上の注意事項

【授業計画（情報理論）】
週	上段：テーマ／下段：内容（目標、準備など）
1	コンピュータと情報理論
1	ノイマン型コンピュータのしくみを再確認するとともに，現在のコンピュータにシャノンの情報理論が果たしてきた役割について概説する.
2	コンピュータ・ネットワークと情報理論
2	コンピュータ・ネットワークデータが通信システムから情報通信ネットワークへ発展してきた中で，情報理論が果してきた役割について概説する。
3	インターネット概説
3	TCP/IPプロトコル，Unixオペレーティングシステム，LANに代表される，インターネットにおける情報通信の基盤技術について概説する。
4	インターネットと情報理論
4	マルチメディア情報のデータ圧縮，誤り訂正などを取り上げ，インターネットにおいて情報理論が果たす役割について概説する。
5	情報通信システムモデル
5	情報の発信，通信，受信からなる基本的な通信システム，及び符号化と復号化を中心として，学問的な見地から情報理論が目指すところを概説する。
6	確率論の基礎（1）
6	条件付確率とベイズの定理など，情報理論に関係の深い確率論の基礎について解説する。
7	確率論の基礎（2）
7	確率変数と確率分布，マルコフ過程など，情報理論に関係の深い確率論の基礎について解説する。
8	中間試験
8	1週目から7週目までの授業内容に関して試験を行う。
9	通信モデルへの確率論の適用
9	誤りのある通信システムモデルにおいて，受信側で予想される送信情報，及び送信側で予想される受信情報について確率計算する。通信モデルへの確率論の適用について理解する。
10	情報の表現
10	情報の定量的な表現である情報量，特に確率との関連性，情報源の表現，および各種の情報源について理解する。
11	エントロピー（平均情報量）
11	1つの情報ではなく，複数の情報を含む情報源に内在する情報量であるエントロピー（平均情報量）の意味と計算方法を理解する。
12	冗長度
12	情報源から発生する情報の生起確率の偏りによる冗長性について理解する。
13	エントロピー（平均情報量）に関する定理
13	定理として，2つの異なる情報源に注目したとき，両者の平均情報量の間に大小関係が存在する。本定理の意味，及び成立する理由を理解する。
14	結合事象と結合エントロピー
14	2つ，あるいはそれ以上の情報源に注目すると，情報源の間に関連性が存在することもある。各情報源の結合事象を持つ情報源を新たな結合情報源とする結合エントロピーについて理解する。
15	条件付事象と条件付エントロピー
15	2つ，あるいはそれ以上の情報源に注目すると，1つの情報源である情報が生起したことを条件として，他の情報源で生起する情報に傾向（条件付確率）が存在することもある。各情報源の条件付事象を持つ情報源を，新たな条件付情報源とする条件付結合エントロピーについて理解する。
16	相互情報量
16	2つ，あるいはそれ以上の情報源があるとき，ある情報源の情報について，他方のから一部の情報が得られることがある。他方の情報源から得られる平均的な情報量である相互情報量について理解する。
17	マルコフ情報源におけるエントロピー
17	相互情報量の発展形で，過去に生起した情報に影響される情報源がマルコフ情報源である。このマルコフ情報源におけるエントロピー（平均情報量）について理解する。
18	情報源符号化
18	伝送誤りの無い通信路モデルを対象とする符号化である情報源符号化を取り上げ，符号化に求められる要件，及び定理などについて理解する。
19	符号に望まれる要件
19	基本的には，符号化された送信側の情報は，受信側では受信直後に瞬時に，また一意に元の情報に復元されることが要求されることを理解する。またこの要件を満たすためのツールの1つであるクラフトの不等式についても理解する。
20	平均符号長とクラフトの不等式
20	符号化方法を評価するための1つの尺度である平均符号長について学ぶ。有効な符号化を行うため，クラフトの不等式を満足する符号語の平均符号長に関する定理を理解する。
21	シャノン符号
21	具体的な符号化の方法としてシャノン符号の方法を学び，平均符号長を計算する。
22	ハフマン符号
22	具体的な符号化の方法としてハフマン符号の方法を学び，シャノン符号とハフマン符号による平均符号長を比較する。
23	中間試験
23	16週目から22週目までの授業内容に関して試験を行う。
24	ハフマン符号の原理
24	ハフマン符号の原理について概説し，ハフマン符号の有効性を理解する。
25	拡大情報源とハフマン符号化
25	エントロピーHの情報源をn次拡大した情報源では，エントロピーがn倍となることを学ぶ。また，n次拡大情報源に対してハフマン符号化を行った場合には，さらに効率の良い符号化となることを理解する。
26	ランレングス符号
26	世の中には，ある特定の情報が連続して生起しやすいような情報源がある。このような情報源においては生起する情報を1つずつ符号化して伝送するよりも，情報の連続数（ランレングス）を符号化した方が効率は良い。この符号化方法であるランレングス符号とその性質について理解する。
27	ランレングスハフマン符号
27	ランレングス符号化とハフマン符号化を併用することで，さらに効率の良い符合となることを理解する。
28	通信路符号化
28	これまで学んだ情報源符号化は誤りの無い通信路モデルを対象とした符合化であったのに対し，ここでは誤りのある通信路モデルを対象とする通信路符号化について学ぶ。一般に冗長を付加することで誤りに対して強くなることを理解する。
29	誤りのある通信路モデルにおける情報量
29	誤りのある通信路モデルを具体的に与え，誤り率と受信側で得られる相互情報量の関係を理解する。また通信の信頼性を向上させるための方法についても理解する。
30	各種の情報源と符号化方法の性質
30	これまでに学んできた各種の情報源の性質，並びに符号化方法の性質について再確認する。
備考	中間試験および定期試験を実施する．