Brain-like associative learning using a nanoscale non-volatile phase change synaptic device array

Yüklə 3.59 Mb.
Pdf просмотр
ölçüsü3.59 Mb.
  1   2   3


Brain-like associative learning using a nanoscale non-volatile phase 

change synaptic device array 

Sukru  Burc  Eryilmaz


,  Duygu  Kuzum


,  Rakesh  Jeyasingh


,  SangBum  Kim


,  Matthew 



, Chung Lam


 and  H.-S. Philip Wong



Department of Electrical Engineering, Stanford University, Stanford, CA, USA 



University of Pennsylvania, Philadelphia, PA  



IBM Research, T.J. Watson Research Center, Yorktown Heights, NY 




Sukru Burc Eryilmaz 

Department of Electrical Engineering and Center for Integrated Systems, 

Paul G. Allen B113X 

420 Via Palou

Stanford University, Stanford, CA 94305-4075








Abstract: Recent advances in neuroscience together with nanoscale electronic device technology 

have  resulted  in  huge  interests  in  realizing  brain-like  computing  hardwares  using  emerging 

nanoscale  memory  devices  as  synaptic  elements.  Although  there  has  been  experimental  work 

that demonstrated the operation of nanoscale synaptic element at the single device level, network 

level studies have been limited to simulations. In this work, we demonstrate, using experiments, 

array  level  associative  learning  using  phase  change  synaptic  devices  connected  in  a  grid  like 

configuration similar to the organization of the biological brain. Implementing Hebbian learning 

with phase change memory cells, the synaptic grid was able to store presented patterns and recall 

missing patterns in an associative brain-like fashion. We found that the system is robust to device 

variations, and large variations in cell resistance states can be accommodated by increasing the 

number of training epochs. We illustrated the tradeoff between variation tolerance of the network 

and  the  overall  energy  consumption,  and  found  that  energy  consumption  is  decreased 

significantly for lower variation tolerance. 


Phase change memory, synaptic device, neuromorphic computing, brain-like computing, device 

variation,  associative  learning,  Hebbian  plasticity,  neural  network,  spike-timing-dependent-





1. Introduction 

Historical  improvements  in  cost  and  performance  of  CMOS  technology  have  relied  on 

transistor  scaling  for  decades.  However,  CMOS  transistor  scaling  has  started  reaching  its 

physical  as  well  as  economic  limits  (Radack  and  Zolper,  2008).  Further  scaling  may  prevent 

reliable binary operation of CMOS devices. As devices are scaled down, device to device as well 

as  cycle  to  cycle  variations  increase  (Frank  et  al.,  2001).  Conventional  digital  logic  based 

architectures  cannot  handle  large  variations  as  they  are  based  on  deterministic  operation  of 

devices;  and  extra  circuitry  aimed  at  mitigating  these  variations  results  in  a  huge  overhead, 

increasing  the  cost  significantly.  In  addition,  increase  in  leakage  current  and  hence  the  energy 

consumption as a result of further scaling imply that unabated scaling of transistor size is not the 

optimal  solution  for  further  performance  increases  (Frank  et  al.,  2001).  Furthermore, 

conventional  information  processing  systems  based  on  the  von  Neumann  architecture  have  a 

performance  bottleneck  due  to  memory  and  processor  being  separated  by  a  data  channel.  The 

increasing performance gap in the memory hierarchy between the cache and nonvolatile storage 

devices  limits  the  system  performance  in  Von  Neumann  architectures  (Hennessy  et  al.,  2012). 

Hence, in order to continue the historical performance improvements in information processing 

technology,  different  concepts  and  architectures  need  to  be  explored.  New  architectures  are 

highly desired especially for specific applications that involve computation with a large amount 

of data and variables, such as large-scale sensor networks, image reconstruction tools, molecular 

dynamics simulations or large scale brain simulations (Borwein and Borwein, 1987). 

Massive parallelism, robustness, error-tolerant nature, and energy efficiency of the human brain 

suggest  a  great  source  of  inspiration  for  a  non-conventional  information  processing  paradigm 

which  can  potentially  enable  significant  gains  beyond  scaling  in  CMOS  technology  and  break 

the von Neumann bottleneck in conventional architectures (Mead, 1990; Poon and Zhou, 2011; 

Le et al., 2012). Synaptic electronics is an emerging field of research aiming to realize electronic 

systems  that  emulate  the  computational  energy-efficiency  and  fault  tolerance  of  the  biological 

brain in a compact space (Kuzum et al., 2013).  Since brain-inspired systems are inherently fault 

tolerant and based on information processing in a probabilistic fashion, they are well-suited for 

applications such as pattern recognition which operates on large amounts of imprecise input from 

the  environment  (Le  et  al.,  2012).  One  approach  to  brain-like  computation  has  been  the 

development  of  software  algorithms  executed  by  supercomputers.  However,  since  these  have 

been  executed  on  conventional  architectures,  they  have  not  come  close  to  the  human  brain  in 

terms  of  performance  and  efficiency.  For  instance,  IBM  team  has  used  the  Blue  Gene 

supercomputer  for  cortical  simulations  at  the  complexity  of  a  cat  brain  (Preissl  et  al.,  2012). 

Although this is a multi-core architecture, it is still nowhere close to the human brain in terms of 

parallelism, even though it already requires large amount of resources: 144 TB of memory and 

147,456 microprocessors, and consumes 1.4 MW of power overall (as opposed to approximately 


20  W  consumed  in  biological  brain  in  humans)  (Preissl  et  al.,  2012).  Another  approach  is  to 

realize  brain-like  parallelism  in  hardware  instead  of  programming  conventional  systems  by 

software.  Typically,  the  number  of  synapses  (connection  nodes  between  neurons)  are  much 

larger  than  number  of  neurons  in  a  neural  network,  making  synaptic  device  the  most  crucial 

element  of  the  system  in  terms  of  area  footprint  and  energy  consumption  to  realize  brain-like 

computing  systems  on  hardware  (Drachman,  2005).  CMOS  implementations  of  smaller  scale 

physical neural networks on a specialized hardware have been previously demonstrated (Indiveri 

et al., 2006). The large area occupied by CMOS synapses limits the scale of the brain-like system 

that can be realized with these approaches. For instance, the synaptic element in (Merolla et al., 

2011)  is  an  8-transistor  SRAM  cell,  with  an  area  of  3.2  µm 

×  3.2  µm  using  a  45  nm  CMOS 

technology. This area-inefficient synaptic element makes it impractical to scale up the system. 

Implementing synaptic functionality in a much more compact space, such as on the order of few 

tens  of  nanometers,  would  be  useful  to  build  a  more  compact  intelligent  architecture,  besides 

potentially  being  more  power  efficient.  Such  a  compact  synaptic  device  is  especially  required 

when  the  goal  is  to  upscale  the  system  to  the  scale  of  human  brain.  In  recent  years,  different 

types  of  emerging  nanoscale  non-volatile  memory  devices,  including  phase  change  memory 

(PCM) (Kuzum et al., 2011; Bichler et al., 2012; Suri et al., 2012), resistive switching memory 

(RRAM) (Xia et al., 2009; Yang et al., 2012; Chang et al., 2011; Seo et al., 2011; Yu et al., 2011; 

Yu  et  al.,  2013)  and  conductive  bridge  memory  (CBRAM)  (Jo  et  al.,  (2010);  Ohno  et  al., 

(2011)),  have  been  proposed  for  implementing  the  synaptic  element  in  a  compact  space.  Such 

devices, which can be scaled to nanometer dimensions, would enable realization of highly dense 

synaptic  arrays  approaching  human  scale  implementation  of  brain  emulators  or  intelligent 

systems  on  hardware,  owing  to  their  small  feature  sizes.  Among  these  different  types  of 

emerging  memory  devices,  phase  change  memory  has  the  advantage  of  being  a  more  mature 

technology.  In  addition,  phase  change  memory  has  excellent  scalability.  In  fact,  phase  change 

material  has  shown  switching  behavior  down  to  2  nm  size  (Liang  et  al.,  2012).  Phase  change 

memory arrays fabricated in 3-dimension have been demonstrated as an alternative approach for 

high density memory (Kinoshita et al., 2012). Functional arrays of phase change memory cells 

have  already  been  demonstrated  in  20  nm  and  other  technology  nodes  (Kang  et  al.,  2011; 

Servalli et al., 2009). Hence, it is possible to build a hybrid brain-like system using nanoscale 

synaptic devices using phase change memory integrated with CMOS neurons.  

The  main  characteristic  of  PCM  that  makes  it  a  good  candidate  as  a  synaptic  device  is  its 

capability  for  being  programmed  to  intermediate  resistance  states  between  high  and  low 

resistance values, or gradual programming (Kuzum et al., 2011). As illustrated by Kuzum et al., 

the ability to program a PCM in 1% grey-scale conductance levels enables the PCM to emulate 

the  spike-timing-dependent  plasticity  (STDP)  in  synaptic  strength  in  hippocampal  synapses. 

Furthermore,  the  crossbar  architecture  used  in  most  memory  array  configurations  is  actually 

analogous to grid-like connectivity of brain fibers in human brain (Wedeen et al., 2012).  


The low resistance state of PCM is called the SET state and transition from the high resistance 

state to the low resistance state is called SET. High resistance state of PCM is called the RESET 

state  and  transition  from  low  resistance  state  to  the  high  resistance  state  is  called  RESET. 

Applying appropriate voltage pulses create intermediate resistance states between the fully SET 

state and the fully RESET state in a phase change memory device (Kuzum et al., 2011). This is 

similar to gradual weight change in biological synapses, where the synaptic weight is modified in 

accordance with relative arrival timing of the spikes from pre and post-neurons. This is called 

spike timing dependent plasticity (STDP), and is thought to be one of the fundamental learning 

rules in hippocampal synapses (Bi and Poo, 1998). Using this property of phase change devices 

as well as similar characteristics of other emerging memory devices mentioned above, network 

level learning studies have been done (Bichler et al., 2012; Yu et al., 2013; Kaneko et al., 2013; 

Pershin and Di Ventra, 2010; Pershin and Di Ventra, 2011; Alibart et al., 2013). However, many 

of  these  works  studying  nanoscale  synaptic  devices  on  network  level  have  been  limited  to 

simulations, and experimental works either have used few number of synapses or lack a thorough 

analysis  of  important  network  parameters  (Kaneko  et  al.,  2013;  Pershin  and  Di  Ventra,  2010; 

Alibart et al., 2013). Recently, we presented preliminary findings of  hardware demonstration of 

a  synaptic  grid  using  phase  change  memory  devices  as  synaptic  connections  (Eryilmaz  et  al., 

2013).  In  this  work,  we  present  a  detailed  description  of  the  algorithm  and  signaling  scheme 

used,  and  additionally  present  a  thorough  analysis  of  the  tradeoff  between  the  power 

consumption,  the  number  of  iteration  required,  and  the  device  resistance  variation.  We 

experimentally  study  the  effects  of  resistance  variation  on  learning  performance  in  the  system 

level.  We  find  that  larger  variations  can  be  tolerated  by  increasing  the  number  of  learning 

epochs,  but  this  comes  with  increased  overall  energy  consumption,  resulting  in  a  trade-off 

between variation tolerance, energy consumption, and speed of the network. 

2. Phase Change Memory Cell Array for Synaptic Operation 

Phase  Change  Memory  (PCM)  cells  used  in  the  experiment  are  mushroom  type  cells,  which 

means the heater material, bottom electrode (BE), phase change material, and the top electrode 

(TE) are stacked on top of each other, respectively (Wong et al., 2010). The 10-by-10 memory 

array  used  in  the  experiments  consists  of  100  memory  cells.  These  cells  are  connected  in  a 

crossbar  fashion  as  illustrated  in  Figure  1(a).  Each  memory  cell  consist  of  a  PCM  element  in 

series with a selection transistor. The circuit schematic of a memory cell is shown in Figure 1(a), 

and  a  cross  section  of  a  memory  cell  is  shown  in  Figure  1(b),  together  with  the  optical 

microscope image of the memory chip used. The cells can be accessed through bitline (BL) and 

wordline  (WL)  nodes.  Each  wordline  is  connected  to  the  gates  of  selection  transistors  of  10 

memory  cells,  and  each  bitline  is  connected  to  the  top  electrode  of  the  PCM  element  of  10 

memory  cells.  Overall,  there  are  10  WL  and  10  BL  nodes  in  the  array.  Note  that  the  bottom 

electrode of a PCM element within a cell is connected to the selection transistor of that cell. Each 

cell is associated with a unique (WL, BL) pair, hence each cell can be accessed by applying bias 


to the corresponding BL and WL nodes, as shown in Figure 1(a). The device fabrication as well 

as  retention  and  endurance  characteristics  of  memory  cells  in  the  array  are  given  in  detail 

elsewhere (Breitwisch et al., 2007).  



Figure  1.  (a)  Schematic  of  10x10  phase  change  memory  (PCM)  cell  array  is  shown  on  the  left.  Resistances 

connected in series with the selection transistors represent PCM element. The figure on the right shows the complete 

schematic of a single memory cell. This particular cell can be accessed by applying appropriate biases at WL #2 and 

BL #10. Substrate and common source terminals are grounded during the experiment. (b) Optical microscope image 

of  memory  cell  array  located  on  the  memory  chip  is  shown  on  the  left.  TEM  image  of  a  single  memory  cell  is 

appended  to  the  right  hand  side.  Mushroom  type  cell  structure  can  be  seen  by  observing  the  bitline  (BL),  top 

electrode  (TE),  phase  change  material  (PCM)  and  bottom  electrode  (BE)  stack.  TEM  image  is  reprinted  with 

permission  from  Close  et  al.,  2010.  Copyright  2010  IEEE.  TEM  image  is  a  representative  figure  for  90  nm  node 

mushroom PCM cell, and PCM cells in the array in this paper are 180 nm node with the same device structure. 


SET programming of a memory cell is achieved by applying a long (from a few hundred ns to 

few µs) current pulse through the PCM element to crystallize the phase change material in the 

PCM  via  Joule  heating.  In  a  gradual  SET  programming,  depending  on  the  amplitude  of  the 

current pulse, resistance of the PCM reduces for a certain amount, rather than going directly into 

the lowest resistance (fully SET) state (see Figure 2(d)). RESET (high resistance) programming 

is achieved by amorphizing the phase change material of the memory cell by applying a larger 

current  pulse  with  a  very  sharp  (2-10  ns  fall  time)  falling  edge.  A  large  amplitude  of  current 

pulse results in melting of PCM material through Joule heating, the sharp falling edge quenches 

the  cell,  without  allowing  time  for  the  phase  change  material  to  go  into  the  more  stable 

crystalline state, leaving it in the amorphous state. The amount of resistance increase for gradual 

RESET  can  be  controlled  either  by  changing  the  falling  edge  width  of  the  current  pulse  or  by 

changing the current pulse amplitude (Kang et al., 2008; Mantegazza et al., 2010). Typical DC 

switching characteristics of a single device arbitrarily chosen from an array are shown in Figure 

2(a). For DC switching characterization, 3.3 V is applied at WL of a single cell and BL node is 

swept from 0 V up to the switching threshold. The measurement result in Figure 2(a) shows that 

switching threshold for one of the cells in a fully RESET state is around 0.8 V, and the current 

when switching occurs is 2 µA. Note that these values can vary across the memory array due to 

device to device variation. Set and reset pulses with amplitudes of 1 V and 1.5 V and with (50 

ns/300 ns/1 µs) and (20 ns/50 ns/5 ns) rise/width/fall time is applied at WL node, while BL node 

is held at 3.3 V during characterization of pulse switching in the memory cells. Pulse switching 

characteristics are shown in Figure 2(b). This data is obtained by applying SET pulses for pulse 

#1,3,5… and RESET pulses for pulse #2,4,6…. The same SET and RESET pulses are used for 

array  level  binary  resistance  characterization  shown  in  Figure  2(c).  RESET  resistance  is 

distributed  around  3M  ohms  and  SET  resistance  is  distributed  around  10k  ohms.  For  synaptic 

operation,  gradual  resistance  change  characteristics  of  memory  cells  are  utilized.  Specifically, 

our  system  utilizes  gradual  SET  programmability  of  memory  cells.  To  characterize  gradual 

resistance  change  from  the  RESET  state  to  the  partially  SET  state,  we  apply  once  a  1.1  V 

RESET  pulse  and  then  9  SET  pulses  with  0.85  V  amplitude.  Gradual  resistance  change 

characteristics from RESET to SET for a single cell is shown in Figure 2(d) for a few cycles of 

gradual  SET  characterization.  This  gives  us  around  9  resistance  levels  between  low  and  high 

resistance  state.  Although  the  energy  consumption  for  gradual  SET  is  lower  than  gradual 

RESET, variability is larger for gradual SET since gradual SET is probabilistic in nature (Braga 

et al., 2011). The reason behind this is the intrinsic stochasticity of the nucleation of crystalline 

clusters during gradual SET operation. The cycle-to-cycle variability is also observed in Figure 

2(d)  The  same  resistance  levels  are  not  accurately  repeatable  from  cycle  to  cycle.  Due  to 

variability in gradual resistance change, multi-level-cell (MLC) memory applications use a write-

and-verify  technique  since  the  data  storage  applications  require  deterministic  binary  resistance 

levels (Kang et al., 2008). However, massively-parallel brain-like architectures can tolerate such 

variations  and  do  not  require  the  use  of  write-and-verify  that  is  needed  to  achieve  an  accurate 


resistance  level.  Hence,  the  variations  observed  in  Figure  2(d)  do  not  pose  a  problem  for  our 






Figure  2.  Electrical  characterization  of  memory  cells.    (a)  shows  the  DC  switching  characteristics  of  a  single 

memory cell arbitrarily selected from the array. Switching behavior can be observed when there is 2 µA of current 

through  the  memory  cell.  Binary  switching  cycles  are  shown  in  (b).  SET  pulse  is  applied  at  odd  numbers  of 

measurement (pulse #1, 3, …) and RESET pulse is applied at even numbers of measurement. The plot shows the 

measured resistance of the memory cell right after the programming pulse is applied. Array level binary resistance 

distribution is shown in (c). Resistance window for binary operation is larger than 10k. Gradual resistance change in 

a single cell is shown in (d). This plot is obtained by applying gradual SET pulses right after the cell is abruptly 

programmed to RESET state. The plot shows 3 cycles of this measurement.




3. Array Level Learning 

A fully-connected recurrent Hopfield network is employed for the learning experiments (Figure 

3(a))  (Hertz  et  al.,  1991).  The  Hopfield  network  consists  of  100  synaptic  devices  and  10 

recurrently  connected  neurons,  as  shown  in  Figure  3(a).  It  is  worth  noting  that  in  this 

architecture,  all  neurons  are  both  input  and  output  neurons.  Integrate-and-fire  neurons  are 

implemented by computer control and memory cells serve as synaptic devices between neurons. 

Figure  3(a)  illustrates  how  the  network  is  constructed  using  the  memory  cell  array.  The  input 

terminal  of  the  i-th  neuron  is  connected  to  BL  #i,  and  output  terminal  of  the  i-th  neuron  is 

connected to WL #i, where i=1,2,…,10, i.e., neuron #1 input and output is connected to BL #1 

and  WL  #1,  respectively,  and  neuron  #2  input  and  output  is  connected  to  BL  #2  and  WL  #2, 

respectively,  etc.  (Figure  3(a)).  Before  the  experiment,  all  synapses  are  programmed  to  the 

RESET  state.  A  learning  experiment  consists  of  epochs  during  which  synaptic  weights  are 

updated depending on firing neurons.  After training, the pattern is presented again but with  an 

incorrect pixel this time, and the incorrect pixel is expected to be recalled in the recall phase after 

training is performed (Figure 3(b)). A complete pattern is presented during the training phase of 

an epoch, and an incomplete pattern with an incorrectly OFF pixel is presented during the recall 

phase. All patterns consist of 10 pixels, and each neuron is associated with a pixel. This mapping 

between pixels and neurons is shown in Figure 3(c) for two different patterns considered in this 

work. Figure 3(b) shows the pulsing scheme for firing and non-firing neurons in both update and 

recall phases. When a pattern is presented during a training phase, the neurons associated with 

ON (red pixels in Figure 3(c)) pixels are externally stimulated, hence they fire. As can be seen in 

Figure 3(d), when a neuron spikes during the training phase, it applies programming pulses at its 

input  (corresponding  BL)  and  output  (WL).  This  results  in  gradual  SET  programming  of  the 

synaptic device between those two firing neurons. For instance, when neuron 1 and neuron 2 fire, 

programming pulses are applied at WL1, WL2, BL1 and BL2, as defined in the pulsing scheme 

in  Figure  3(b).  These  pulses  will  result  in  a  current  going  through  PCM  elements  and  hence 

gradual  SET  programming  of  memory  cells  that  connect  neuron  1  and  neuron  1  (see  Figure 

3(d)).  After  training,  the  recall  phase  begins.  During  the  recall  phase,  a  pattern  with  an 

incorrectly OFF pixel is presented (Figure 3(e)). Again, the neurons associated with ON pixels 

during recall phase fire, and appropriate pulses are applied at the input and output of neurons as 

shown in the pulsing scheme in Figure 3(b). Neurons associated with OFF pixels during recall 

phase  do  not  fire.  Note  that  there  is  a  low  amplitude  pulse  applied  at  the  input  of  non-firing 

neurons during recall phase. This voltage pulse, together with the large amplitude voltage pulse 

applied at the firing neurons’ output during recall phase, create an input current feeding into non- 

firing  neurons.  The  amplitude  of  this  current  through  a  non-firing  neuron  is  determined  by  the 

resistance values of synaptic connections between that neuron and the firing neurons. This input 

current  of  non-firing  neurons  during  recall  phase  is  analogous  to  membrane  potential  of 

biological  neurons.  In  biological  neurons,  the  postsynaptic  current  feeding  into  a  neuron 



accumulates  charge  on  capacitive  membrane,  forming  a  membrane  potential.  Typically,  this  is 

modeled  by  a  time  constant  that  is  determined  by  membrane  capacitance.  In  this  experiment, 

neurons  fire  simultaneously  during  the  recall  phase,  while  at  the  same  time  the  input  current 

through  the  non-firing  neurons  is  measured.  Since  the  delays  and  timing  properties  of  the 

Поделитесь с Вашими друзьями:
  1   2   3

Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur © 2019
rəhbərliyinə müraciət

    Ana səhifə