Monthly Archives: October 2010

ICAについて

大学一年生の時、確率統計の授業で、初めて研究とは何かと先生に教えてもらいました。その時、先生が紹介してくれたのはHelsinki大学、Computer Science Departmentの教授たちが研究した独立成分分析(ICA)です。画像から信号、統計までさまざまな分野に応用できるICA法を見て、いつかこの研究に引き継ぎたいと思い始めました。

去年の4月、自分の卒業研究として、ICA、[カクテルパーティー問題]を研究し始めました。残念なことに、自分の研究には新しいアイデアが生まれにくいという弱点があり(あくまで自分の能力が限られたから)、理論の理解も難しく、プログラミングもあまり進んでないようでです。

しかし、振り返り見ると、これは「人工知能」の分野ではないか、またはじめて自分が好きな研究ではないかと思うようになりました。最初、いろいろな壁にぶつかってしまって、「これはヤバイ」「俺ダメだ」と叫んだこともありました。それを乗り越えるために、分からないことを何度も繰り返して読みました。おかげで、今は、完全に理解できるとは言えないが、自分がこの道に入ったじゃないかと思っています。

ここでは、研究の詳細的なことを述べるつもりではありません。ただ、自分の中にはっきりしたいので、もう一度ICAについて、概略を述べたいと思います。では、最初に読んだ本の冒頭を紹介したいと思います。

独立成分分析

信号解析の新しい世界

Aapo Hyvarinen, Juha Karhaunen, Erikki Oja 著
根本幾・川勝真喜 訳

現代社会は信号に溢れている。インターネットやTVなどの日常生活は言うまでもなく、工学、生物学、人文科学の世界ではデータが幾らでも出てくる。データの山に埋もれずに、これを整理しようとなると、データを多変量の信号として扱い、その数学的構造を調べることになる。

統計科学は、多変量の信号を整理し、その即に潜む構造を明らかにしようと、これまでに色々な手法を発展させてきた。主成分分析(PCA)や因子分析(FA)などである。しかしこれでは何か物足りない。

こうした中で、独立成分分析と名乗る新手法が現れ、これまでの信号処理の考え方に再考を迫った。平たく言えば、これまでの多変量の信号処理は、分布がガウス分布で記述できると、暗黙の内に想定していたのである。しかし、現実の信号はガウス分布ではなくて、この事を利用すればガウス分布では分からなかった 構造が明らかに出来る。

独立成分分析は、混ぜ合わさった信号が観測されたときにこれを分離する手法である。大勢の人が同時に話しているときにその中から特定の人の声を抽出する方法、携帯電話などで多数の電波が歪んで混線しても、それを復元する方法、さらに脳波や脳磁波等を脳の外部で観測して、脳の内部に発生している信号を分離して捉まえるなど、色々な使い道がある。画像処理もその一つである。

独立成分分析は、1980年代の半ば、フランスの研究者が考え始めた。妊婦の心電図を測り、ここから胎児の心音と母親の心音を分離したいと考えたのである。

フランスに端を発したこの新技術は、アメリカで、フィンランドで、そして日本で独自の発展を遂げる。新しい手法の提案と、その背後にある数学的な構造をめぐって、論争、競争、そして協力が築かれ、大いに盛り上がった。今は手法も成熟し、共通の理解に達している。さらに、ここから信号処理の世界に更なる発 展が生まれようとしている。

Some space helps a language relationship to grow | The Japan Times Online

Some space helps a language relationship to grow | The Japan Times Online.

Some space helps a language relationship to grow

By MICHAEL GAKURAN

Special to The Japan Times

Are you familiar with the “forgetting curve”? I was about 16 when I came across it, printed in the back of my physics textbook at secondary school. But I have a vivid memory of that discovery to this day. The graph had a tremendous impact on the way I approach learning, especially when studying Japanese.

News photo

Our brains organize and process information in order to recall the most important stuff first. I’m sure most people can relate to the frustrating feeling of having studied a new and tricky word, only to find it has ceased to exist inside our head the very next day. “What happened? Surely I’m not getting old already?” we fret. Perhaps we should blame a bad learning technique instead of our memories.

Age, stress and sleep — among other things — all affect how well we remember something. Typically, however, one of the biggest problems is that we aren’t even giving our bodies a decent chance to recall things in the first place. With the constant flood of information entering through our senses every second of every day, our brains have quite a job to sort out what is important from what is forgettable.

Stronger memories take longer to forget, the best example of which are “flashbulb memories” — those supremely powerful emotional experiences that seem to permanently etch themselves into our minds. Other memories, especially sensory ones, are retained only from a few seconds to mere minutes.

So what is the best way to transform short-term memories into long-term memories? That is where the forgetting curve and “spaced repetition” come in.

German psychologist Hermann Ebbinghaus first noted an exponential relationship between time and the strength of a memory in 1885. Put simply, the more we see something, the more likely we are to remember it. What is important, however, is not cramming information into our minds over a short period of time. For the best memory retention, we must continually review the information at optimally spaced intervals. This may sound like hard work at first, but after a while the repetitions spread out further and further. The end result is that you will only need to review a piece of information every few years or even less often.

With traditional flash cards, following the spaced repetition approach means maintaining a complicated setup with various categories to identify how well you remembered a particular item. But computers and free software available on the Internet can automatically calculate the best time for your next review. All you need to concentrate on is actually doing the study!

One particular piece of software that has transformed my Japanese language learning is Anki, named after the Japanese word for memory (暗記). Anki allows you to add new material or choose from a list of shared public decks to start studying. It can be used for almost anything, from hiragana and katakana to American states or even putting names to faces! You simply select how difficult something was for you to remember and Anki calculates the next time you need to see it to avoid forgetting it. It is a great way to build sound knowledge of a topic. I used it to study grammar and vocabulary, and I credit it for my success in passing the top level of the Japanese Language Proficiency Test. I have friends who have also built decks using Anki, gradually adding material over the years, and their language ability has improved because of it.

Of course, flash-card systems are no substitute for learning and using a language properly. Studying in different environments and getting outside to interact with real people are also important parts of language learning. They will provide you with practical repetitions of the material you have been practicing at home — more deeply embedding it in your long-term memory.

Spaced repetition requires dedication to the review process, but if you’re serious about improving your Japanese ability, it’s time well spent. Good luck!

Michael Gakuran blogs at www.gakuranman.com and is the founder of gakuu.com, a Japanese language site for advanced learners.